同治四年闰月，之谦友人琴川，因十年战乱不得安居；所幸战事稍微平服，乃卜居扬州邵伯镇东的艾陵湖上。
战后归乡，到风光优美的湖畔卜筑新宅，使之谦羡慕。他以北魏书写的贺诗中，也透露出内心的痛苦和矛盾：
我亦存蔽庐，欲归尚踟蹰，历劫未为苦，所苦囊无书，赋诗且寄情，未辨齐与吴。
俗语：“书中自有颜如玉，书中自有黄金屋。”之谦诗中的“所苦囊无书”，所缺的究竟是书是金？恐怕只有他自己心里知道。
秋风渐起，转眼已近中秋，正是北雁南归的季节。他这只失群已将近漫长五年的孤雁，无论内心怎样踟蹰、矛盾，也不能不整装待发。
黄菊、雁来红和湖边绽放的芙蓉，象征着霜雪即将降临的北方景色。他以淡色绘写出秋容，上题：
写此三秋图，淡淡只数笔，是为君子交，其妙不可说。同治乙丑八月十一日，赵之谦依装作此两天前，他为沈树镛所作《桂花栗子图》，也是此期高峰之作。
以金红和绿写桂花——可能是一种花色鲜丽的“金粟花”，以墨写产于北方的栗子，是他别树一格的色与墨对比的画法。
纸不受墨，黯然作别离之容。乙丑八月九日，叔依装作，为均初一笑“蜡烛有心还惜别，替人流泪到天明”；之谦却在纸不受墨的花卉中，体会出黯然离别之容。
黯然离别的是三年来朝夕相处，志同道合的好友，还有增添他艺术文化滋养的北京。此去应有归乡的喜悦，也只是小别；但多年的颠沛流离，家人亲友的生离死别，使他感觉一切都难以把握，人算总不如天算。
赵之谦大约在中秋节前后，启程还乡。中途访济南，客南京，深秋之际，返回一别五年多的绍兴。由他此行途径，推测他可能是搭乘京杭大运河的船只，而非他当年北上时所乘的洋轮。
在济南，遇到一位素未谋面的乡亲向他索书，之谦以那传自邓石如的章法，“疏处可以走马，密处不使透风”，为作隶书五言联：
岁月有常御；
山川无改时。
款书：
三山九兄，吾越耆宿，来山左始见之，属隶楹联，即涂十字。赵之谦道经南京，之谦往访青年友人戴望（子高）。
身材颀长，神情清爽、朴实的戴望，虽仅而立之年，却已鬑鬑有须。
这位浙江德清县的秀才，曾师事包世臣和杭州诂经精舍山长俞樾。他于参加一次杭州乡试落第后，就断绝了科举之念；推测，他和之谦，可能邂逅于杭州。
戴望专注于先秦诸子和汉学，他的学术渊源，得自外祖父周中孚。不过，他那学术上的门户之见，加上倨傲的个性，遇有见解不合之人，反复辩难；所得罪的人，与之谦恐怕不相上下。
曾国藩克复南京后，设金陵书局，整理因战争而散佚、残破的古籍，聘戴氏校勘《毛诗》和《后汉书》；只是他不改其狂傲和好辩，对国藩幕僚，颇多得罪。因此有关他的蜚短流长，到处传扬。
不妄交游的戴望，对之谦的多才多艺，却潦倒不遇，从心里感到钦佩和怜惜，认为他是出非其时的麒麟。当之谦出示这年二月，从北京琉璃厂偶然以五百钱买到的明钞本《景祐六壬神定经卷》时，坐在古书堆里的戴望，眼睛为之一亮，知是失传已久的宋代杨维德等所撰文，书前有宋仁宗御制序，认为虽只残经二卷，但却十分珍贵。
戴望自愿为经作跋。
跋于同治四年十一月己卯写就，寄往绍兴。
至于之谦应许戴望为刻“谪堂”、“戴望之印”及“戴”、“子高”各印，则因病和忙，拖延了一年以后方得兑现。
之谦回到绍兴时，秋已将残。见到孤独憔悴的长女桂官、为继承亡妻范敬玉宗祧而过继的赵寿佺；他首先要率一女一子，到范氏灵厝祭拜，准备择日安葬。
同治二年春，太平军在左宗棠指挥的清军和法国军队的压迫下，退出绍兴。谁知在疮痍未复的同治四年夏，绍兴又遭受一场洪水的蹂躏，无异雪上加霜。看着百废待举的周遭，之谦痛苦而焦虑。
残破待修的宗祠、衣衫褴褛愁容满面的亲友、病逝福建尸骨下落不明的亡兄……似乎每个人，每件事，都待令他自感羞涩的行囊来解决。
在家乡，他自知像年轻时一样，在成见和敌视的目光下，将一筹莫展，告贷无门。杭州、上海等大都会，也许有机会凭他现今的名气和笔砚，解除一家之困。
在思忖筹画中，他家传的宿疾——痰喘，突然发作，卧病在床。
有关之谦本年发病情形，见于之谦同治五年十二月四日写给魏锡曾的信中：
冬至前后，颇动旧疾，而三日已愈，较去岁百四十日，下血数斗，不啻大赦矣。
——尺牍通一
在可见的资料中，并无旧疾复发的确实日期。
从他后来给友人的几封信中印证，他的咳喘病症，为四代家传，天冷必发，天热则愈。时间常在冬季；数日、数旬不等，有时病情一直拖到第二年暮春三月始愈。
再查之谦创作年表，同治四年春虽为参加礼部试而忙碌，但各类艺术创作，直到南归后，才告间断。同治五年正月，书画篆刻创作重又活跃起来。由以上迹象推断，他的长达一百四十日宿疾发作，当在九月中旬返抵绍兴不久，直至十二月中下旬始愈。
这次宿疾突发虽然猛烈又漫长，但不得不为他庆幸，若非抵家后发病，有女儿桂官服侍汤药，而于前此数年孤身在外时发病，实在不堪想象。
放眼周遭，赵之谦发现有各种微妙的变化。
城中，不少外地逃难者，口音和习惯颇不同于本地，但显然各自找寻生路，颇有落地生根的意味。
熬过战乱的人，一面历数战争期间的凄楚，也带有一种无可奈何，听天由命的意味；当然也把某些希望寄托在还乡者的身上，无论是“衣锦荣归”或“落魄而回”的人。
太平军对有功名、官职的人称做“清妖”，非常痛恨。因此，很多收藏之家包括之谦自己的，多已付之一炬。
以赵之谦好友傅以礼（节子）为例，咸丰十一年乱时，避难于“□唫村”，虽仍手不释卷，但故居所藏金石碑版及各种古书，尽已佚去。现在一面重新搜集，一面到之谦中表兄弟李慈铭家中借书。
另位好友，山阴秀才何澂（竟山、镜山），大概也是如此。仍旧到处寻碑拓印，可谓不改其乐。
从外地回来的人，虽然在乡里眼中值得羡慕，但各个处境不同。
同治初年捐赀为户部郎的李慈铭，至同治三年，已九次乡试落第，比之谦早一年大挑为“誊录”。同治四年夏天，以老母病重，请假返绍兴。未久纳张氏为妾。慈铭以前看不起蕺山书院山长宗稷辰（涤翁）和其门生赵之谦、周白山辈，归乡后，却做了蕺山书院的主讲。
江湜、魏锡曾，信中得知均由福建归杭州，只是锡曾有福建盐大使官职在身，恐不免要在两地间奔波；类此情形者很多，如他和胡澍，今后何尝不是要奔走于北京和家乡之间？
四年前，之谦和锡曾在福州邂逅，锡曾在贽见诗中写：
知君家住大坊口，十过君门九回首；当时镜水净无波，天涯今日成悲歌。
此后二人即结成密友。
但，锡曾真正到绍兴造访之谦，则是同治四年十二月二十八日，之谦病愈之后。
之谦、锡曾同室而居，彻夜谈笑，仿佛咸丰十年胡澍逃难来绍兴时的情景。
除夕前一日，两人偕游绍兴东南十二里之遥的禹庙。雄伟壮丽的庙容，殿中一丈七尺多的禹王塑像，令人肃然起敬。但看到殿外窆石亭时，之谦不由得一阵惘然。
泛着黑光的窆石，高约一丈，上细下粗，仿佛巨大的秤锤，粗处不下二围。上方有圆孔，像钟钮，上有刻文，据说刻于三国孙吴时期。令人痛心的是，这一被认为是镇棺用的窆石（亦有人考据为碣石），在辛酉战乱期间，留下了断痕。
年初数日间，傅节子、何竟山两位好古之士，闻风而至，四位志同道合的金石迷，或竟日探讨金石，或锡曾独自搭舟前往拓碑。五云门外五里远的妙相寺，南齐石佛背上，字迹奇古，名闻江南，是锡曾此行最感兴奋的地方之一。他从沈复粲后人开的书肆中，无意间买到《隶释》和三国黄龙元年的砖砚。尤其那价值连城的砖砚，是沈复粲的遗物，之谦十七岁时跟从沈氏习金石学，就经常看到那方古砚，却从来未敢作非分之想；不意乱后年荒时，却被锡曾捷足先登，心中不免有所感慨。他为锡曾所拓齐石上作跋，也以隶书为黄龙砖砚作铭：
造专上虞王元方，山阴征士沈（复粲）所藏，劫后留此易糇粮。今归魏子登文房，廿年前事能思量，我名但志交情长，愧尔不轻去此乡。
叔作，同治丙寅
傅节子所赠善本书籍及碑版多种，也使锡曾感激不尽。
大年初七开始，锡曾暂别绍兴，独自远出。游跳山、宁波、余姚，客星山（又名陈山）及陶家堰，直到正月廿日，才行囊满满地回到之谦家中。
哪知刚一进门，猛然想起一事，立刻笑意全失，脸色大变。询问之下，始知有个印匣忘在航船上面；其中有两方连之谦也少见的邓石如印章。此乃绍兴孙氏传家之物，傅节子借来拓印，不幸却从他手中失落。之谦听了，立刻叫人准备小舟，锡曾乘小舟追到东关，总算从船上找回失宝。
在宁波，锡曾所得金石著录多种，其中有二部相同的，以及从他处所得汉代残砖、古镜碎片等，分赠傅节子，以示礼尚往来。
此行最危险的，是到跳山头，拓后汉建初年间的大吉摩崖。不但山崖险峻，并有马熊出没。起初锡曾并未在意，拓完之后，听到许多马熊伤人的往事，反而吓出一身冷汗。古代摩崖墨拓价高难求，由此可见一斑。
最难得的，莫过于抱病椎拓“汉三老碑”。
“汉三老碑”，一称“三老讳字忌日碑”，东汉建武二十八年五月刻，埋藏地下已一千八百年，咸丰二年出土。在自古禁止建碑的江南，使此碑获得“浙东第一石”的美称。
“但恨江南金石贫”，是江南金石家普遍的感叹，之谦后来曾把这七字刻成印文，以示惋惜。
锡曾把拓得后汉建初摩崖、建武三老碑，列为此行的主要目的，他兴奋地表示：
尝恨大江以南，古刻沦毁，而越中岿然存汉石二，孙吴萧齐石各一，足为山川生色。
其中齐石指妙相寺佛背字；孙吴石，当为禹陵窆石钮上铭文。
三老碑出土于余姚县客星山，曾任职于光禄寺的周世熊（清泉）园中，锡曾由宁波回程时，请余姚友人罗戟门推介前往，罗氏访客汪述庵陪同。主人把三人引至有竹石花园的别室，设榻于三老石之旁，既便于休息，也便于拓碑。一切安置妥当，主人回房，罗戟门告辞而去，不料天却下起雨来。
初春雨日，寒冷刺骨，汪述庵患了寒疾，只能在客榻上拥被而卧，偶尔出言慰问锡曾，却不能帮忙。不幸痔疮忽发的锡曾，穿着敝裘，坐在地上忍痛椎拓。主人不时带着小童送药物、食品，使他备感温馨。
锡曾细看咸丰末年被太平军取作灶石，饱经熏灼的石碑，用的是锋从中下的“椎凿法”，不同于“双刀法”那样字画整齐。刀画两边，石面崩裂有如松皮，字画也感到混淆不清。他用自己独特的方法，精工细拓，以小墨团加扑四五次，使凹陷笔画，均得清晰可辨。连拓三日，一共拓得三整幅，两幅局部。整幅分赠周世熊、汪述庵，自留其一，两幅局部，可能就留赠他友。
值得附带一提的事，此后周世熊，命碑工张文蔚拓碑，要他务必采用锡曾独门绝招。
四十余年后，有人贪利，欲将此一江南之宝三老碑，经上海运往日本。启运之前，金石派后起大师吴昌硕及上海、杭州金石书画家，不愿国宝外流，纷纷捐出书画篆刻义卖，奔走募捐，终于将三老碑抢救回来，在杭州西泠印社，建专室珍藏。
待之谦把锡曾一去十余日的丰收，与节子等共同欣赏、讨论、题跋后，于正月二十二日偕锡曾、述庵一同过钱塘江到杭州，向友人贺年。
从前之谦每到杭州，必做客于杭州老秀才曹籀（葛民）家。
年近古稀的曹籀与其忘年交赵之谦，颇有相似之处，恃才傲物，好骂，因此不能见容于乡里。
曹籀好古学，常与杭州学术界前辈交游，自称是道光年间礼部主事，仁和名学者龚自珍（定盦、巩祚）的畏友。
往往之谦造访，除了无分日夜地讨论所藏古籍或新近著作，就是请之谦以端楷抄录他的文章。这次倩抄的是龚自珍《纵难送曹生》文。文中勖勉曹籀在学术上无畏艰辛的开创精神。所依据的是龚自珍之子龚橙的手抄本。其中有些和龚自珍原刊文集稍有出入；既见于之谦录后之记，也见于光绪三十年吴昌硕之跋。而光绪三十三年学者张鸣珂（公束）之跋，写出曹籀与龚自珍及之谦和曹籀间的交谊。
之谦魏书龚自珍的文、文后之谦自记及吴昌硕、张鸣珂两则龙飞凤舞的行书跋，合成了一幅四美并具的长卷。
和温州隔江遥对的黄岩，是之谦任职温州时就一心向往的仙境。
由于大病初愈，又接到黄岩翼文书院之聘，之谦看过久别诸友之后，就重新返回绍兴，作前往黄岩的准备。