面对劫后余生的长女桂官，之谦心中有着深深的歉意和怜惜，今后决尽一切力量照顾她，以求无愧于亡妻，也善尽做父亲的责任。
由桂官，想到这些年收留她的族兄赵诚谦。之谦对他心存感激，也有说不出的矛盾。
他过继诚谦之子赵寿佺的心态颇为复杂。当寿佺童年时，遭丧子之痛的范敬玉，对他颇为喜爱，敬玉既已离开人世，不能无人承继宗祧；照顾孑然一身的桂官之恩，也不能不报；从子女众多，不胜生活负荷的诚谦家中过继一子，对诚谦的重担，不为无补。另一比较迷信的想法，可见于之谦晚年，在致友人雨楼信中所述：
而此子之先，颇有不协于天理者，三十年前科（按，指继子寿佺先人所为伤天害理的事），其后人将有奇祸；至此见其家道衰落，乃请于兄嫂，即以入继，弟恃有祖、父两世积德，以谓留一人归吾家，则天道可畏，尚当分别治之，欲有以解免也。
之谦当年过继寿佺为宗祧时，虽然抱着以祖上两世所积阴德，来涤除寿佺先祖所造之业，冀使寿佺得免受祸；但见到他那粗野不文的样子，心中总有种不甚惬意的感觉。因此对这年已十四岁少年的教养和学业的安排，十分费心。
从之谦刻给寿佺的一方白文名印及带有勖勉意味的法书，可以见出当时的之谦，尽管心存矛盾，却仍然有无限的期望和爱心。
之谦同治五年新春开笔，首先为友人董觉轩作《岁朝清供图》。带有冰纹的修长古瓶，上插鲜艳欲滴的牡丹，显出一种新春的欢愉。瓶后，围绕着疏疏淡淡的松针，和曲屈有如蛟虬般的松枝，仿佛相看两不厌地伴护着瓶上的倾国名花。落于左上角一大一小的两行款识，和瓶花，结成之谦画中惯有的狭长布局。
之谦对自己的篆刻，比书画更为珍惜，如非知音，绝不轻易奏刀。
远在咸丰初年，他就为傅节子兄弟刻了多方堂印、名印、字印和收藏印。为何澂刻印则集中于咸丰六、七年间。
经过咸丰十一年的绍兴战乱，重返故里的之谦，面对在金石方面重整旗鼓的几位老友，印章和斋堂匾额，势必也要重新来过。
“竟山所得金石”、“以礼审定”、“大兴傅氏”、“华延年室”等印，都是之谦病起后的早春之作。其中“大兴傅氏”印，应是一种特殊机缘；印边原来刻有“壬子春程邃”五字。
程氏，安徽歙县人，生于万历三十三年，卒于康熙三十年，享寿八十七岁。徽派健将巴祖慰等，印风多师程氏，因此，可称为徽派之祖。他的朱文印，极具创意，学者争摹其体。
壬子，为康熙十一年，程邃六十七岁。此印何故未完成？或完成后印面部分遭磨损？不得而知。只见之谦款刻：
后一百九十五年同治丙寅，赵之谦为节子补成此印，记之。
在“华延年室收藏校订印”阳文巨印侧，之谦自刻边款：
同治丙寅二月，将赴台州，节子出佳石索刻，为迟两日行，成之。叔记笃厚的友情和佳石的诱惑，连向往已久的天台之行，都不得不延迟下来。同时，他也为自己刻了方双面印：“赵之谦印”白文印和“长陵旧学”细画朱文印。自识：
同治丙寅仲春，将作天台之游，依装刻此。
不知此石，是否节子为慰劳其腕力所赠。
在魏锡曾盘桓绍兴拓碑访古的正月，之谦即着手为节子篆书许慎《说文解字》四屏、隶书汉碑字一联、楷书“小黄香簃”额。后款：
同治丙寅正月，为节子十一叔补题，之谦由此看来，同治五年的早春，实为重病初起的赵之谦艺术的丰收季。
如果以台州府治临海县为中心，风景奇丽，为佛道两教胜地的天台山在西北，以道家洞天闻名的黄岩在东南。两地距临海县的远近，也差不了太多。
之谦头一个目标，游览天台。天台风景以石梁瀑布最为惊险。两座陡峭的山崖相对而立，顶上横架着一条如梁的巨石。上游溪涧中的水汇聚于此，飞跃而下，降至不测的谷底，声如雷鸣。
石梁上面遍布莓苔，因此无人敢轻过石梁。随着山势，石梁一侧建有上、中、下三寺，均名“方广寺”，是观瀑的最佳去处。其中尤以下寺视界最佳。仰望石梁如在天汉，瀑布像神龙摆尾一般凌空而下，寒气逼人，十分壮观。寺旁“盖竹洞”，引人入胜。之谦在春寒料峭的二月前往，单在下方广寺就住了两夜。
王羲之、李白、孟浩然、陆游等，均在山上留有遗迹和题咏，可供人凭吊。
据传说：汉朝阮肇、刘晨入天台山采药，遇到两位美貌仙女，结成神仙伴侣。婚后半年，刘、阮思家心切。不意返乡后，发现人间已经历了七世，眼前人事全非；怅然重回天台山上。至于能否和仙女重续前缘，只好留给后人想象。
仍旧是桃花盛放的二月，赵之谦与友人同游名闻遐迩的黄岩委羽山。道家三十六洞天中，委羽排名第二。但山上洞窟不是被泥土堵塞，就是人工垒石洞口，不得其门而入。道人侵地筑亭，使自然山水，大为减色。天台方广寺路旁的“盖竹洞”，黄岩也有一处；大概都是穿凿附会，效仿天台景观的吧。
令之谦难以忍受的，是引路的道人喋喋不休，把种种神话传说，形容得活灵活现；给人的感觉，俗恶不堪。之谦在诗中写出这段不快的旅程：
洞天三十六，委羽能居二，空明不可说，窥穴了无异。神仙事恍惚，甲乙谁所记，欲入抉幽怪，中有丸泥置。奇闻贱耳食，灵境难身至，道人不解事，相恶以为媚。……黄岩委羽山第二洞天和吉子振贰尹。
距黄岩县城三十里的翼文书院，是之谦在黄岩的住所，在此教授学生，埋首研究考据，身兼二职，束脩所入，对他而言是种优厚的待遇。
出身书香世家的孙憙，成了他谈文论世的伴侣。
孙憙，字懽伯，阳湖人。书学欧阳询、褚遂良二家。他也是位诗人，著有《宋井斋诗文集》。
故盐运使缪梓生前，久闻懽伯父亲孙子和之名，可惜二人始终缘悭一面，如今皆归道山。
懽伯取出子和为缪梓好友沈西雍观察所画的《延秋雅集图》，请之谦为题。
图中所画秋树、闲庭，在红叶霜草间，主人陈设经籍，与座客谈艺为乐。这也是缪梓和之谦师生当日共同向往的境界。图上已有小浮山人题诗，之谦略一沉吟，拈笔和韵：
秋空不可扫，烟树三两丛，闲座鸟语寂，乐事恣所穷。露华荡寒碧，霜草怜幽红，主人陈十经，谈艺或此中；览图缅师训，触绪来西风。
懽伯久知之谦擅以篆、隶参草书笔意，写岁暮春初的寒花，特别求他画梅。之谦则仿扬州八怪李方膺（晴江）法，作梅花一幅。
布局奇特异常，姑且称为“四分法”：
画面左侧，由中间到纸顶，缘边伸展出莓苔密布的古干。几枝横斜的桠杈，从古干上劲力十足地伸向右方，予人无穷的想象空间。两条如草似篆的新枝，自顶端弯弯曲曲地倒挂下来，形成中间空，两边较密的上半部画面。下半部的分朱布白，尤为利落，大半留白，仅左侧题诗落款：
晴江尚有两知己，借庵空传万首诗，我不爱童偏学李，北枝折取当南枝。
欢（懽）伯属画，之谦作，时客黄岩。
之谦战后头一次还乡，最大的心愿除安葬离开尘寰已四年之久的妻子，便是将客死异乡的长兄赵烈，运柩归里，或就地安葬、立碑。困难的是如何能正确无误地辨别骸骨。
同治元年，之谦在福州见过长兄一面；同治二年，之谦在北京，传来赵烈病逝于福建漳州龙溪县的噩耗。县令钱荣堂，是赵烈的表兄弟，将赵烈灵柩停厝在漳州城外的绍兴义园。
同治三年六月中旬，曾国藩攻下南京，九月太平军余部攻入福建漳州，绍兴义园被焚。
次年四月，太平军撤出漳州后，之谦托人往漳州探视，绍兴义园中仅存一具半毁棺木，及一具无棺的枯骨。据旁人指点，半毁者为赵烈棺木。所托之人，便把半毁棺木封好，立碑，上书“赵积庵公墓，男在绍立”。
“积庵”，是赵烈的号；“在绍”，为赵烈之子。
因此，之谦想要把长兄灵柩运回，与亡嫂合葬，但心中又大感疑惑；万一半毁棺中不是长兄遗骸，误与长嫂合葬，成何体统！
之谦将心中疑惑与族人商议，众人也多半觉得不妥。折衷的办法是：把疑似赵烈遗骸就地葬于漳州，树立丰碑。于绍兴的长嫂墓中，只以长兄衣冠合葬，比较妥当。
百事待理的之谦，无法亲往漳州，只好拜托魏锡曾就近代理；他在信中说：
此时弟所求者，不过先筑漳墓，其资约需多少，则乞便中探听，容设法速成。如此柩实系先兄，则必谋归葬。
他也附带告诉锡曾：
即非先兄之墓，封之树之，不为过也。若确是先兄，留葬于漳，立碑起坟亦无罪。
——尺牍通四二
大约五年夏末秋初之际，江湜病重。之谦适在杭州，他函告锡曾：
江弢老竟以穷死，可悲可惨，其病亟时及身后，略为尽力筹画，而力薄无以济。
——尺牍通五
想到前在盐运使幕中，由缪梓口中知有此人，在温州、福州患难与共及诗酒唱酬的情景，之谦心中惆怅，久久不去。稍感庆幸的是，江湜殁后十四日，其妾生一遗腹子；之谦在给锡曾信中说：
此尚可慰九京者，亦吾辈所共慰藉，以为善人不绝后之征也。谦再顿首之谦返乡后，生活变化之大，连他自己也感觉惊异。
自入缪梓戎幕，不断转战于浙东各地。接踵而至的，是辛酉之后，卷入温州变乱，冒海上风涛之险入闽，再返温州战地，进而赴京。三年的京中岁月，生活虽然安定，但经常处于斗室，考据、著述、书画篆刻外，还要钻研八股文章准备科考；比之枯禅老衲，并不为过。
初归后的一场大病，葬妻女，为长兄寻骸骨，立碑招魂，为密友江湜料理生前死后诸事，莫不令人感伤。但除此之外，半年多优游于绍兴、杭州和黄岩山水佳胜之乡，享寻碑访友、教授书院之乐。他在浙东、西艺林的声望，更重于往昔，书画篆刻到处争求；润笔所入颇丰。画具笔墨，大半在杭州邵芝岩笔店订制，随意赊欠，备受优待。需款时，有开典当铺的好友舒梅圃，可以周转。这一切，都算他半生中难得的顺境。
生活圈子扩大，环境顺遂，幽默感油然而生，之谦不时在信中调侃往来于杭州、福州两地的锡曾，开些无伤大雅的玩笑。
之谦和锡曾相识以来，不断有各种“生意往来”。
以所藏古籍、碑版互让。锡曾不仅为自己、家人和亲友索刻，也为钱式招徕刻印生意。当他们分处南北两地时，也常常互通讯息，代购古佛、砖瓦之类。
往往之谦就所蓄某物开出价码；但锡曾嫌贵，便搁置下来。待锡曾主动上门求让时，之谦故意两手一摊，不是说已经让与他人，便是假作抬价，或表示如今“穷极”，却反不愿出让一类的话，弄得锡曾啼笑皆非。
例如，仲秋八月五日信中，就有不少“后悔药”，专治锡曾“犹豫不决”的宿疾：
六元拓本之说，断乎不可。此三十七种，本非三十元以外不卖。前极窘时，故云十六元；今日又不窘矣，决意不卖，请即速寄还，如不速寄，是鬼我矣。
为了加重语气，之谦除于“请即速寄还，如不速寄”句旁，密集画圈；另加一句：
断乎不可！
第二桩生意，谈的是锡曾亲手精拓的“汉三老碑”，可能是锡曾许给之谦，作为请之谦题跋各种古籍碑版的润笔。之谦一一加题之后，却未见三老碑。他的设想倒也周全；以一大包经他“一加品题，声价百倍”的文物暂存其二兄处为质，再于信中要锡曾持三老碑精拓来赎，以求两不亏欠：
所有应题之件，均写上数字；惟《道德经》上不敢标题，恐错误也。
接着，之谦言归正传：
三老碑精拓本，兄自节子家携归，未曾交弟处，故不及。各件包作一大包，存家二兄处。请将拓本寄竟山收下转交，易此一大包，以清弊端。
他进一步解释，何以非如此不可的道理，好让锡曾感到“刺耳”：
弊端二字，本用不着，但一涉交易，必须用之，否则如来书云：“兄物弟物，兄钱弟钱，不必计较”；岂可交易！
——尺牍通三一
非仅锡曾，同封信中，也把身居晚辈的韩佛生排遣了一番：
佛生之印，断不黄局，九月间寄之。……如佛生有寄处，则统交佛生矣。佛生之四元头，本欲作书催促，以为祭先墓之用（按，之谦预定同治五年九月返里祭祖，此刻人在杭州），今来示云“俟黄岩归来再付”，又与前日所说“赴黄岩日寄上”不同；想是刻本错误，非拓本变相也。然必得寄我家中，方为朋友周恤之义。
所述佛生之事，推测是锡曾经手为佛生求印的润例，未按时寄到，被之谦幽默为想是“刻本错误，非拓本变相也”。
同封信尾，又说道：
唐祁瑛瓦造像，为弟所得，近因穷极，卖与蒋廉访征蒲，得一十千。
显然，“近因穷极”一语，与这封信首段的“今日又不窘矣”，相互矛盾。
多年来的交易，也使之谦摸透了锡曾的脾气。
同治二年七月锡曾经泰州访问吴让之，无意间买到一宝；长州艺海楼旧藏明代磁印，上刻“瓯香室”三字。是年冬，锡曾南归福建，之谦忽然想到友人陈宝善曾将温州酒更名为“瓯香”；倘得“瓯香室”古印相配，岂非天造地设的美事？
于是寄信给爱徒钱式时，附信请转永嘉县令陈宝善：
……稼孙此次归，如无事则不肯卖；如有窘事，必卖此，兄可得之。信已封完，再书一纸附钱生函中。弟之谦上——尺牍通二四巧的是，这封“算计”锡曾宝藏的信，并未到达陈宝善手中；可能由于钱式病逝，锡曾整理遗物，而成为锡曾箧中之物；钤有之谦所刻朱文“稼孙”的锡曾收藏印信为证。
真真假假，真假掺半，诙谐幽默，挖苦调侃；无论之谦笔下如何挥洒，锡曾看了总是不愠不恼，在之谦信末加钤之谦为他刻的收藏印信，作为传家之宝。也因此，使同治元年起十余年间，有关两人间的交往、际遇及之谦的思想、性格种种史料，得以保存。
深秋九月，之谦由杭州归里。
不同于去年此时的是，返家时行囊颇丰。据之谦自言，在黄岩身兼二职，所入不下五百金。同治年间，每金可兑换九吊钱，约一千一百文；五百金，是个相当可观的数目，衡量家中诸事，他可以畅所欲为了。
为侄儿赵能定娶妇，整补残破的家园，周济贫穷的亲友，祭祀祖坟，为宗祠影堂补绘失窃的祖先像，也是费时费钱的事情。
赵氏宗祠影堂，供有祖先总像与三幅合像。
太平军时期，总像遗失，合像辗转藏某亲戚家。又因太平军禁止祭祀祖先，同治元年轮值主办祭祖大典的赵曼仙，为了表示公正无私，宣告族人：将来把这一年百亩祭田收入，充作补绘祖先像之用。
使曼仙惭愧的是，像未补绘，自己却已变得一贫如洗。更出人意料的是，他到某亲戚家想取回三幅合像，亲戚只归还两幅，另一幅要以重酬赎回。
伤心愧悔的赵曼仙，好不容易筹款向亲戚赎回祖先合像。但欲请画师绘制祖先总像，绘写、装潢，合计所需二十七千多钱，仍无着落，他想发起募捐，尽应尽的责任。
回忆咸丰二年，之谦欲往杭州参加三年一度的乡试，苦无川资，幸赖曼仙叔祖慷慨解囊，独助十一千九百钱，方得成行。因此，无论从公义或私恩，之谦都不能不担起重绘祖先像的担子。
十月十七日，祖先总像绘成，连同三幅合像重新供奉到修葺一新的宗祠影堂之中。之谦感念曼仙叔祖的义行和负责的精神，慨叹某亲戚无情；连难中寄存的祖先像都横加勒赎。因作《赵氏祖传记》，藏之宗祠，以告示赵氏子孙。文中，述画像失窃始末，曼仙叔祖家道中落后，仍力图补救的刚毅及作记的要旨：
此次捐资补像，上以答祖宗在天之灵，下以代曼仙公成尽孝尽诚之事。非欲斥尊长为不肖而自居于贤子孙之列也；谓此事终始皆赖曼仙公一人之力可也。
至于对某戚的态度则是：
其曰某氏者，亦戚家贪得，失人理，黜其姓氏，屏之也；是当知之，不可恕，故再述之。
之谦这次返乡，也在节子处听到锡曾四弟锡普病逝的讯息，大为感伤。
锡曾生母王渭，共生六男一女，一弟幼殇，三人死于咸丰末和同治初年的变乱，如今四弟身亡，仅存者只有过继给伯父的锡曾和六弟锡禄二人而已。
生命原本无常，战乱年代更显得脆弱，仿佛随时随地都可能幻灭。幸存者，经过多年颠沛和劫难之后，身心俱疲，也常为一种朝不保夕的死亡阴影所笼罩；锡曾九月廿二日信中，就透露出这种悲观的想法。之谦于十二月四日三鼓天写给锡曾信中，就谈到，他也有同样的感觉：
兄言自念，弟亦何尝不自疑也；冬至前后，颇动旧疾……
接着所言，就是去年在绍兴，和这一年十一月初到黄岩时，两度发病情形。说及家中六十天的忙碌生活与庞大开销时，他告诉锡曾：
此间身兼两役，所入不下五百金，而整顿家事、弥补旧亏、周济不足，因此得畅所欲为，而入者尽出矣。
——尺牍通一
他也表示，明年将要北上；他事业的目标，并非待遇优厚的黄岩区区之地，而是在帝都北京。