年后的数日闲暇中，之谦忽然想起两件事，一件是曾寄数方印章给温州钱式，一件是想和吴熙载结为艺友，以便互相切磋，已托人带重礼到泰州；但二者均无回音，使他感到纳闷，只好去信福州，向魏锡曾幽怨地诉说一番：
……忽已改岁，群以为上元甲子，必有一番好气象。然旅人苦况，竟是不动不变，且恐再住一年，将有万过不去者。本无可敝可尽之物，宜其愧色日加。幸天鉴其衷，故先降酷祸去彼不下纴者，然亦竟不能归；所谓弃天，殆其今矣。
次行有书来否，实不解其何以赖于作字如此。
——尺牍通十七
对于钱式，之谦无时不在关怀，希望得到他平安无事，勤奋进步的讯息。
上年冬，除了请锡曾带往福州转寄钱式的“福德长寿”印，又刻“钱式次行”、“钱式之印”、“钱式”等印。
犹记同治元年十月，之谦离温州前，钱式自作“子谷”印，款刻：
余别号子谷，赵益甫师所命也。师授余篆学无所隐，但恐朽木不可雕，有负厚望耳。
这事，使之谦极为感动，想来犹在目前。之谦恨不得航向波涛滚滚的温江，重临永嘉古城，看视爱徒和好友陈宝善。
但，这株好友钱松的孤根，尽管心志坚定，身体却因战乱摧残而羸弱。从之谦同治三年腊月给锡曾信中（尺牍通二九）看，师生似乎尚有联络。但同治四年，年仅二十二岁的钱式，便熄灭了生命之火。
给锡曾的同一封信中，之谦提到了吴熙载：
窃谓吾辈得知己难，岂知古人得知己更难；如兄者，庶足当知己之一矣。吴让翁见过否？弟由缪芷汀寄一函与之，并以《文殊经》为赠，此人即非古人知己，惟不至见逐耳。于弟则必有引之为友者，有嫉之如仇者，此意惟兄可言，必不执古人视君如无物之论也。
——尺牍通十七
之谦对他心仪已久的书画篆刻家吴熙载，态度上的转变，是颇值得玩味的事。
就书法篆刻而言，邓石如力学秦篆、汉碑和汉印。熙载与之谦，又均受石如书法和篆刻的影响；只是之谦入京前就致力于浙、皖融合，上追秦玺和汉印，又旁及六朝隋唐宋元印法，入京后直接追求“印从书出”和“印外求印”的境界。
熙载则忠实于邓石如的书、印风格，并稍涉浙派的陈鸿寿、赵之琛印法。
十年前，之谦仅见过熙载一两方图章，就私下把他引为篆刻艺术上的同调。他曾刻于边款：
息心静气，乃得浑厚，近人能此者，扬州吴熙载一人而已。
同治二年秋，见过锡曾所辑《吴让之印稿》，了解熙载治印风貌，又听锡曾述说吴氏对浙派的见解及对之谦的印评，他觉得这位性情孤僻的印人，并非想象中的知音和同调。之谦在印稿序文中，详细分析熙载篆刻渊源、长处，和近年因对浙派传统误解而产生的偏颇，并评熙载印为“能品”。
同治二年冬，锡曾将由北京返福州，之谦刻“巨鹿魏氏”印赠行。款中也提到熙载：
老辈风流忽衰歇，雕虫不为小技绝，浙皖两宗可数人，丁黄邓蒋巴胡陈（曼生）。扬州尚有吴熙载，独客南中年老大……
此时，他对熙载仍相当尊重，列为皖宗传人。
而同治三年初给锡曾的这封信中，则开始对吴氏拒他的友谊于千里之外，表示不以为然。
稍晚，之谦又在给锡曾信中，提起赠《文殊经》事，对熙载，口气上更加不同：
门下士冯灿捐小官，候补泰州，荐吴让之教书，让老昏愦，竟无回音。去岁送一纸《文殊经》，亦不言已否收到，奇极。
——尺牍通二六
这种不耐的口吻，使人联想到他在温州时，寄多方印章给锡曾，却如石沉大海，久无回音时的下笔开骂情景；只是仍强行压抑，未使爆发而已。
另封信中，对熙载这位神交而未谋面的朋友的不满，可算是“溢于言表”：
吴让老书“郑斋”（按，为沈树镛藏郑羲上下碑之室书额）两字颇好；如今作八分，恐未必有此。此公今日实鲁灵光，论理应刻一印赠之；然此公于印，实知一不知二者，非弟所信。《续印稿》以印存人，而不及此公，其中有深意也。
——尺牍通十六
吴熙载卒于同治九年，享年七十有二。
之谦与他的情谊，似有缘又似无缘。熙载在世时，二人往来情形，真有点像俗语说的：“因误解而结合，因了解而分离。”不过，熙载辞世的次年，浙江平湖收藏家葛昌楹，拓印二人篆刻精品，辑成《吴赵印存》飨世，集皖、浙两派传人作品于一帙；也算世事难料吧。
一般说来，熙载、之谦二人性情，均颇孤傲，也许是难于相处的原因；但二人对魏锡曾，又都极为友善。同治二年七月，锡曾初访泰州，熙载为刻“鉴古堂”长形白文印，边款语气，谦虚和婉：
让之今年六十有五，目力昏耗，已近于瞽，竟以刻印，无为老苦。稼翁一笑，弃之如土。癸亥立秋日记。
同年冬，锡曾自北京南下，复经泰州，熙载又为刻“魏稼孙鉴赏金石文字”白文长方形印，款：
同治二年十二月，稼孙将之闽，作此志别。让之然而为之谦所刻“二金蝶堂”白文印，仅款：
叔先生削正。让之六十五岁
寥寥数字而已。
尺牍通二六，之谦向锡曾诉说弟子冯灿，候补泰州，推荐从熙载学书未得回音之余，附带告诉锡曾一件小事：
新交有祁季闻一人（之），然外官习气甚重，非佳友。
所谓“外官习气”，大概不脱遇事敷衍推拖，对上逢迎，对下作威作福之类官场常态。
祁季闻，高平县人，刚自泺州调回京师。结交这样一位友人，不值得函告千里外丁忧的锡曾。但他却引发之谦费时五载，完成《勇卢闲诘》——一本专门研究鼻烟的冷门著作。
提起这位“非佳友”的友人，和赵之谦却有相同的嗜好。
之谦在父亲的教导下，以长兄赵烈为戒，养成不吸鸦片、不赌博、不狎妓的良好习惯，琴棋书画篆刻之外，仅对鼻烟情有独钟。
在福州时，锡曾的岳父讲究此道，所以当锡曾委托他作文、刻印、校书或考定金石之际，他主要的要求，就是让锡曾从岳家讨些鼻烟，且多多益善，用以提神醒脑。
巧的是祁季闻亦好此道，谈起鼻烟来历、品味和保存，乃至鼻烟壶的材质，滔滔不绝，使之谦大为倾心。
有时，祁氏偕之谦走访著名的藏家，各种鼻烟、烟壶，包装鼻烟的蜡质，真是奇珍罗列，任君品尝和观赏。其中甚至有乾隆元年鼻烟，已呈绀碧色，看来珍贵无比。之谦闻了闻，发现味如墙壁的灰土，吸之入鼻，也是索然无味。之谦说：
太羹元酒，复见于今日！
主人和季闻听了齐声大笑，季闻说：
此所谓，中无所有，独以老见尊者也。
闲谈中，季闻慨叹，如今鼻烟已成普遍嗜好，从帝王士大夫到贩夫走卒，莫不以此提神，却人人不求甚解，连士大夫也对此事懵然无知，实在可惜。
一向充满了好奇心，认为一物不知，儒者之耻的之谦，被季闻的话，激起了好奇心和好胜心，回寓后，就他对鼻烟见闻，写了篇数百字的文章，使季闻颇为叹服，以鼻烟一斤为赠，希望之谦能完成一本前所未有的著作。
之谦好奇心重，明察秋毫的个性，友人几乎尽知，因此有人特别讲了段故事，劝他改改凡事“打破砂锅问到底”的脾气。
从前有一人，像他一样，凡事留意，体察入微。每有访客临门，衣冠鞋袜，言语表情，都要看个清楚。
某月初一，外出访友，见座中一人手持瓷壶，壶上画着一只喜鹊，跃然欲活，给他留下深刻的印象。
四天后，在友人家又巧遇那位座客，手中仍然提着精致的瓷壶；奇怪的是壶上的喜鹊，变成了五只，与日数相符，简直和上海来的月份牌，有同样的功能。
好奇心起，此人向座客借壶细看。又问了座客姓名地址，表示很想交个朋友。
后经几度观察，壶上鹊数和日期，始终一致，若合符节。事过半载，二人友情益浓，他就很不见外地称羡：
君此壶，奇宝也。
看来一派斯文的壶主，答得也很谦虚：
家世相传，莫名其故。
看来此人对传家宝物，既一无所知，也不一定会很珍视。此人慢慢吐露出愿重金求让的心意。
经过一议再议，终于讲好让价；但，好事多磨，交货日期又数次延宕。直到月底，才银货两讫。这位好奇之士，数数壶上鹊数，恰好三十只，喜不自胜地等待次日一觉醒来，众鹊飞尽，一鹊独占高枝的奇景。
月朔晨起，只见瓷壶上面，仍是黑鸦鸦地三十只鹊，一只未少。耐心等到初二，依然如故，不得不找原主理论；但卖主却汹汹逼人，表示货物出门，概不退换。好奇者求宝不得，理论不过，只好自认晦气。闻者认为：
此君违俗，不务穷理，遂自取侮！
据知内情者告知，瓷壶从一鹊至三十鹊，共有三十一把，壶主将重复的一把三十鹊壶重金售出；只怪此人过分好奇，以致“愿者上钩”，自作肥羊。
弄不清故事真假的赵之谦，某次逛庙，竟在古董摊上见到两把鹊壶，分别为四鹊、十二鹊各有一把。想到这则警世性故事，虽不尽信，似乎也不可不信。
不过，江山易改，本性难移，之谦一方面表示“闻者足戒，姑记之”，一方面仍以“一名一物，不安无知”、“一物不知，儒者以为耻”的精神，继续他对鼻烟的探究。在接着的四五年岁月，不时和祁季闻，出入藏鼻烟和鼻烟壶之家，品味、比较，也到肆市中找寻各种古董烟壶，遍翻文献，找出鼻烟产地，制作秘诀，输入中国的时间、路线和朝野对此物的规定和态度，都在考据之列。
他的初步结论是，鸦片为害人心世道，残害身体，为法所禁，鼻烟则不然：
鼻烟入中土最先，行世稍后，于物不为害，于法不设禁，且珍异之，岁时典礼，入备班锡……
原来，对鸦片一向深恶痛绝，认为足可亡种亡国的赵之谦，觉得鼻烟对瘾君子，是无害的代用品，所著看似闲书的《勇卢闲诘》，或有助于世道人心的改善。
同治三年，是之谦著作丰收的一年。一面访问和讨论，一面着墨的《勇卢闲诘》进展得颇为顺利。《六朝别字记》渐趋完成。辑录多年的《补寰宇访碑录》，终于发行面世，不能不说是一大喜讯。但欢欣鼓舞中，也有无限的感伤。
当年孙星衍著《寰宇访碑录》，费时二十年。之谦算算自己著录此书，前后竟也花去漫长的十九年。不过所录的五卷碑数，仅有一千八百二十几则；只约孙氏所录的四分之一左右。
先后指导、协助，和出示所藏碑版，供他研究与抄录的人很多；其中有的健在，有的却已远离人寰。编、采的速度也不慢，可惜中经战乱，屡辑屡失，屡失屡辑，总算有了现在的规模。
到北京后所遭遇到的最大挫折，是上年秋天，山西太谷友人温元长的猝逝。
温元长任职刑部，收藏碑版异常丰富，尽量取出供之谦校录。据温元长说，其家乡驿路旁的石崖，举目所见，都是摩崖造像。其中有一篆书摩崖，极其古老，字迹虽已磨灭大半，隐约可见“皇帝”二字，推测可能是秦代刻石。到处访碑的之谦，一向不以见到拓本为满足，他主张碑碣摩崖，最好能找到原石，四面八方细心观看，有时会在碑阴或为草木泥土掩埋的地方，发现碑文以外的记载或年代。听温元长的话，恨不得能前往是乡，观察椎拓；但这一切希望，均随元长逝世而幻灭。
在痛失良友的悲叹中，之谦唯恐又像前几次那样，多年辛劳，弃于一旦。
赶紧刻版印刷？或暂时中辍？成了他心中的矛盾。
朋友的看法也很不同：魏锡曾不仅在福州来信，表示反对马上刻版印刷，入京后更为此事和之谦争得面红耳赤。
他是位求全心切的著录家，自己也正编辑《访碑录》，他觉得与孙星衍的《寰宇访碑录》相较，之谦的补录，真是小巫见大巫，离完成尚早，不宜贸然付梓。锡曾并随手拈出几则之谦补录中缺漏的碑名，表示所见不差。
但，沈树镛却持相反的看法：
孙星衍身当乾、嘉盛世，为金石学昌盛时代，出土吉金乐石，日有见闻，收集比较容易。之谦生于战乱时代，内忧外患交集下，许多珍贵文物大量毁损流失。多少藏家或著录家，辗转沟壑，颠沛流离。即以之谦为例，屡辑屡失，若不及早付梓，以广流传，他日或竟后悔不及。
树镛对著录的价值，异常重视。他认为宋元明以来，多少碑、碣及拓本，早已失传，却可在著录中略知梗概，无非著录的功绩。之谦集近六十年来，新出土的碑版著录，其中有些是古人不得见者；自然，也有后世亦不得见者，只有付梓著录，可以使之流传。所以，他不但催促，并愿资助踌躇不决的之谦，立刻付印。
同治三年四月，当树镛为《补寰宇访碑录》作跋之际，也就是之谦十九年心血付雕之时，准备秋间印刷问世。
同治三年二月，正当赵之谦忙于《补寰宇访碑录》的出版，江南情势有了变化。二十四日，清军收回了曾连续被太平军占领过两次的杭州。
赵之谦从陆续由绍兴、杭州进京的友人口中，稍知两地景况；族人死难，宗祠毁败，甚至祖先画像也被窃取一空。
述及杭州的残破，更使之谦潸然泪下。
五六年前，犹被人以羡慕的眼光，视为大地宠儿的三十万杭州市民，好像被狂风暴雨摧残过的木叶一般，战乱后剩下不到七八万人。
浙江巡抚左宗棠，在给儿子的家书中，叙述亲眼目睹的惨象：
浙江夙称富饶，今则膏腴之地尽成荒瘠。人民死于兵燹，死于饥饿，死于疾疫，盖几靡有孑遗。纵使迅速克复，亦非二三十年不能复元，真可痛也！
据传，在乡村已经没有耕牛和炊烟，甚至没有可以播撒的种子。一些骨瘦如柴的残存者，只能露宿断瓦残垣之间，在满是阴霾的废园荒畦中，采撷些野草野菜，甚至剥树皮充饥。
驶过京杭运河和曹娥江的破船上载满了卖身的女人。从中年妇人到少女都有，蓬首赤足，泪流满面。据说她们的身价，连一只猪都比不上。只求生存，什么都可以卖，什么价钱都愿意卖。
在思念家乡，悬念亲族的煎熬中，急欲还乡的赵之谦却被友人劝阻；浙江各地虽已渐次恢复，但局势并未稳定。
除了安全问题，等候次年春闱，也是迟未归乡的原因之一。三年一度的抡才大典，是十载寒窗的士子，苦苦等待的一天。之谦咸丰九年中举（恩科）后，已连着失去咸丰十年（应属恩科）、同治元年和同治二年恩科三科进场的机会。历经五年的漫长等待，倘同治四年乙丑科，再行失去，恐怕不免终老山林，愧对地下双亲，也无助于亲族。