　　为何名曰“芜园”，吴昌硕的友人施浴生曾著文《芜园记》说出了原委：“吴子苍石今之淳朴士也。其为人不事表修饰，而中情纯一。居安吉城之东北偏，有旷地数亩，辟以为园，名之曰芜园。……见夫花卉草莱，乱杂并植，足迹之余，皆菅苇。书室之外，所谓台榭陂池，为园所必有者，或缺或仅有，而不加饰。而吴子啸傲其中，若菟裘焉”。

　　这种甘于淡泊、不以物质简陋为苦的心态，表现出吴昌硕在经历生离死别、颠沛流离的五年苦难之后的豁达和乐观。

　　1868年，吴昌硕的父亲病逝。1872年，29岁的吴昌硕娶妻施氏。婚后不久，他就再次离开家乡，开始了外出交游寻师访友的求学和谋生历程。他首先到了杭州，跟随晚清时期的经学大家俞樾先生学习辞章和训诂，前后约有两年。1875年，吴昌硕又被湖州府的贡生颜文采招去做了一年的司帐，后来又被介绍去号称“六才子”之一的陆心源家做司帐，颜文采和陆心源都是著名的收藏家。司帐相当于会计，吴昌硕名为司帐，实际是帮他们做编著抄写、收集文物、分类整理、拓印砖图的工作。在这里，吴昌硕看到了很多历代碑帖、名人书画真迹以及钟鼎彝器等文物，这对其书画篆刻的研习有很大的帮助。

　　在这个时候，吴昌硕还常随颜文采、陆心源出入“六才子”家门，得以见识这些文人雅士，更方便地学习诗词书画。其中，杨岘是吴昌硕最为敬佩的。杨岘，字见山，号庸斋，又号藐翁，湖州人，咸丰五年举人，曾任常州知府，后因不善逢迎而被罢免。藐翁博学多闻，对经学有精湛研究，所作诗文也简练凝重，为人尤耿介鲠直，不谐流俗。吴昌硕敬佩他的为人和治学，曾于1880年备函要求列于门下。藐翁复信婉谢，表示愿以换帖弟兄相称。书中有“来函敬悉，如此称谓，未免太俗，拟仿从前沈仲复与藐订交之例，彼此赠物，即俗间换帖也。犬马齿差长，藐潜称兄，君即吾弟。”尽管藐翁坚辞老师称谓，但吴昌硕仍然以师尊之礼相待，在所作诗篇中有“藐翁吾先师”之名，并自称“寓庸斋内老门生”，足见其尊师重道之心。吴昌硕与杨岘交往前后共20余年，在与其交往中，吴昌硕在诗文和书法上得到不少指点，有很大的提高。

　　1882年，离乡别妻十年的吴昌硕把夫人施季仙接到苏州居住。也就在这一年，吴昌硕的好友金俯将其在古墓葬中觅得的一个陶缶送给他，因为此缶“了无文字、朴陋可喜”，故而昌硕以“击庐”“老击”为别号，这个号一直用到其去世前。接来妻子后，家中所需局促，为供养家人生活，吴昌硕在卖字刻印之外，还托人求职，后来友人推荐他在苏州县衙里担任一名巡查城市、缉捕盗贼的“蕞尔小吏”。做小吏，尽管整日辛苦，收入却只能勉强维持一家人生计，清贫的状况没有什么变化。他曾在写给老师潘芝畦的诗中说：“荡宦如游民，浮家累妻拏。一屋雨打头，达旦声咿唔。呼名乌友朋，闭户人菰芦……”作为一个低级的小官，没什么薪水，又很辛苦，在等级制度森严的官场里还不得不事事小心，如履薄冰。吴昌硕因此谑称自己为“酸寒尉”。

　　在苏州时，吴昌硕因为公干时常路经或小居上海。1883年时，他因公去津沽，在上海候轮时，经高邕介绍结识了任伯年，任伯年见吴氏的画之后十分赞赏，认为他的书法根基深，不妨就以写篆书的笔法来画花瓣，用作草书的笔法来写枝干，如此变化贯通，也就会体会出画理之奥秘。吴昌硕受其启发，从此和他保持着亦师亦友的关系。1885年，任伯年从上海来苏州拜访他，见到刚从官衙里回来的吴昌硕，见他身着袍服，宽衣蔽体，疲惫不堪，好不狼狈，颇为感慨，后来便以“酸寒尉”为题画了一幅像。画中吴昌硕戴一红顶帽子，两手笼在袖中，似乎在作揖，神态狼狈，状态寒酸。任伯年以不多的笔墨，十分精到地表现出一个底层的官吏形象，形神具备。吴昌硕在画上自题“酸寒尉像”，并赋诗自嘲：

　　达官处堂皇，小吏走炎暑。

　　束带趋辕门，三伏汗如雨。

　　传呼乃敢入，心气先摄沮。

　　问言见何事，欲答防龃龉。

　　自知酸寒态，恐融大府怒。

　　怵惕强支吾，垂手身伛偻。

　　朝实嗟未饱，卓卓日当午。

　　中年类衰老，腰脚苦酸楚。

　　此诗加上任伯年的画，淋漓尽致地把身为小吏的辛苦、寒酸的形象表现了出来。