同治四年二月，之谦参加礼部会试前后，为爱徒无锡朱志复作魏书“减斋”额。
五年十二月四日，从黄岩写给锡曾信中，论及志复：
遂生近作颇好，此人不能自立，亦命使之然。人虽强悍，竟不能与命争耶！无怪谈性命之徒，得以当圣贤之目也。
——尺牍通一
由此推测，朱志复即使未与之谦同舟南下，也是先后之间回到日渐平静的江南。之谦在一二年内，为志复刻了数方未具年款的印章和扇骨。铭文中，有风趣，也有许多勉励他的话；大半和勖勉他“自立”有关，使人不能不联想到，良好的家世和富裕的环境，可能会束缚到这位才华横溢的青年独立发展的空间。
“已为朱志复有”，长方形，朱文细画。朱志复像之谦一样，喜好收藏古碑古镜，于是之谦为他刻了这方收藏印。之谦特别在边款诠释“曾”、“已”、“有”三字：
曾，是过去；已，则见在；有，统未来，其用曰待。遂生收藏印。无闷铭
在“字曰遂生”朱文小印的边款：
虱如车轮技乃工，但愿弟子有逢蒙。
同治元年秋，之谦在致锡曾手札中，谈到另一位得意弟子钱式：
钱生次行有刻呈弢叔印，已详具一函，求转交。其所作颇有材力，惟较薄耳。然弟格可学，神不可学，凡事皆然，不独一印。得此弟子，已是不负。惟生有神似其师者，曰穷——此大不可也，奈何奈何！
——尺牍通九
就“穷”而论，志复与乃师，大不相似，其强悍的风格，也非劫后余生的钱式可比。因此之谦印识中，希望他能：专注——像古代神射手般视虱如轮，超越——像逢蒙般青出于蓝。
由此可以体会出，钱式卒后，之谦把接续衣钵的期望，集中到朱志复一个人身上。
在志复自己操刀镌刻的扇骨，之谦撰词作记：
以为竹，用在纸；以为扇，用在指。知彼知己，天下事不过尔尔。
纸可易，竹不可裂；故一以为面也，一以为骨。文章传世，视气节！减斋自刻，叔记。
以纸或绢所作的扇面，有字，有画，挥动以指，凉风习习。但扇的灵魂，在于坚硬之竹；正如言为心声，真正不朽的，不在辞章华丽，而在于透过言辞所表现的人格节操。这是之谦在篆刻、诗、书、画、琴、棋各种艺术中所坚持的一点；至于志复到底能领会多少，大概也要看“命之使然”了。
之谦为孙憙篆书“九梅书屋”匾额之后，离开黄岩，返绍兴度岁。此后由春至秋，往来于绍兴和杭州两地，为友人书联及作画。此时杭州工商各业渐行复苏，对艺术文物需求益殷，之谦润笔收入，也随之增加。
四月，友人伯翁，馈赠金石拓本数种，之谦感激之余，回赠礼物也很特别。
印矩，本为文房中不可或缺之物，但一经之谦刻句镌款，便身价百倍，以此回报金石拓本，显示一种不同的情谊。
也是四月，之谦同年友印溪，由清江浦寄来佳纸索书。之谦以北魏体书，写赵太常在《孟子》书上的题词：四屏，计两百七十余字。
赵太常题词中，慨叹孟子周游列国后，自知进不能佐兴唐虞之治，退不能信三代之余风，耻没世而无闻。于是与弟子公孙丑、万章之辈，集师徒间答问辩难之言，阐明事理与治道。
之谦远在青年时期，就和好友孙古徐相约，搜集古人手稿和绝版书籍，一面自己研究，一面尽财力，刻版流传。戴望所为，是藉公家财力物力，整理古代绝学，使得传世。潘祖荫纯以自己厚蓄雄资，刊刻丛书。孙古徐英才早逝后，之谦在家破人亡、流离失所之外，加以功名不偶，将来何以自处？之谦为印溪同年写完四屏，悬在壁间，一遍一遍地检视，心里却一片茫然。
杭州秋天，景色宜人，西湖画舫、苏堤游人，乃至到岳庙进香、六桥赏荷者，也络绎不绝。赵之谦则与曹籀吟诗、披览旧经，或相互辩难。曹籀虽长之谦二十岁左右，有时为了一个典故，一则训诂，也会争得面红耳赤。曹籀著书立说，吃长斋，之谦担心他的健康问题，屡劝开戒不听。
秋夜闲坐，曹籀赋七律一首，之谦倒叠原韵为和：
饥来吃饭困来瞑，不愿封侯比直弦，偏是辟支工作佛，何妨慧业失生天。窥人明月能无语，阅世乔松亦有年，我羡秋花愧秋草，一般篱下色依然。
“我羡秋花愧秋草，一般篱下色依然”；阅世丰富的赵之谦，在北京广交巨宦豪门，对炎凉世态，体会日深，心中不免存有一种无枝可栖的悲凉。
这年秋天，之谦为曹氏刻了方白文“西京十四博士今文家”，和朱文“各以十种一切宝香众眇华楼阁云”双面印，印边本欲刻“石屋”二字。
有趣的是，之谦下刀时，石质意外剥落，以至刻不成字。之谦索性将错就错，以纵横凹线刻成一图，形状类如石穴，阴暗之中，影影绰绰，仿佛有人隐居穴内。在另一边，重刻“石屋”二字，以其余两边作记：
葛民丈命刻是印，石有剥落，遂改成石屋著书图；寄意而已，不求工也。同治丁卯七月，赵之谦记对赵之谦而言，半生奏刀，这可能也是一次特殊经验。
一方“定光佛再世隊落婆媻世界凡夫”朱文巨印，是为考据“堕”、“隊”二字的假借关系。由曹籀判定，之谦刻印作记：
《说文》无堕，乃隓之篆文，训败城阜；义亦不近。按隊下云：从高隊也；堕、隊声近，因藉之。
曹丈葛民贻我此判，忻然刻之。叔
仲秋，之谦返回绍兴与桂官、寿佺共度佳节。之谦眼见多年来孤苦伶仃的女儿，已届婚龄，心里不免为女儿终身大事，暗自打算。只是离家日久，对乡里亲友家中的后生，颇感生疏，一时想不出理想的乘龙快婿。
“有万憙”，八月间，他为节子作篆书额。
《说文》云：憙，乐也；憙，悦也。《汉书》喜悦字多作憙……憙，天心。宋均注，心为天王布政之官，万物须之乃盛，所以为喜也。有万憙，当以纬义。若云“万乐”，固非；“万悦”，亦未允。同治丁卯八月，赵之谦书并识为了准备参加同治七年春会试，之谦仍于中秋节后，装束就道，航向北京。
路过南京，依旧前往金陵书局探视戴望。戴望以诗赠之谦，欢聚数日，之谦继续北上。
潘祖荫见识宽宏，敢言，为两宫太后所重，一再升迁。同治二年初，之谦刚到北京时，祖荫署宗人府丞。同治六年深秋，之谦由绍兴再次入京，潘氏已累迁为工部右侍郎。
在学术方面，祖荫涉猎百家，尤其喜欢搜罗善本古书，金石碑版尚为其次。他的著作不多，刻正热中于刊行《滂喜斋丛书》。搜集和校勘等工作，则藉重于之谦。往往欲购古书之前，也以之谦为顾问。因此之谦尺牍中，往往会谈及哪些书可买，哪些书刻本流传颇多，不必重金采购。
之谦这次北上，就为他购得汉阳叶名澧著《桥西杂记》手稿，祖荫随即辑入《滂喜斋丛书》，之谦在书后记述求得手稿的始末。入冬后，又着手校订丛书中的《求古录礼说补遗》，然后作记。
在搜集、校勘和编辑方面，祖荫对之谦可谓言听计从，无所猜疑。但是，在为沈树镛或魏锡曾搜集碑版金石乃至其他古董时，由于三人都从事收藏，乃至买卖，其中不免有些无伤大雅的猜疑和争论；从之谦印款、碑记和尺牍中，也可以找到一些蛛丝马迹。
之谦和树镛间，有合作无间的一面。
最能表现友谊和金石同好间乐趣的，无过于同治二年，佳节重阳，之谦费时半年多的双钩汉碑十种大功告成，刻四人共同审定印边款中，所表现的那种笃厚友情，和金石同好者的合作愉快：
四人者皆癖嗜金石，奇赏疑析，晨夕无间，刻此以志一时之乐。
也是同治二年秋天，之谦听说树镛将求得汉石经拓本，就为他刻了方“汉石经室”阳文印以待。
除夕夜，汉石经到手，树镛亲自到之谦寓所报导喜讯，之谦在边款中，描写心中的喜悦：
元旦早起，亟走相贺，出此纵观，欢憙如意，遂记于石。
又如，之谦在“马振祥造像碑”拓本空白处，有这样一段记述：
马振祥造像碑，在洛阳龙门山。旧未著录，余据马研山成（？）本，列入补访碑录。甲子（按：同治三年）夏，复于厂肆得二纸，始与均初分有其一；此刘燕庭方伯故物也。记之，叔这些金石好友间，也有互相猜疑戒备的一面。
之谦在一封有月日无年款的致锡曾信中，谈到树镛秘不示人的新藏：
杨墨林家藏全卖出，无甚古刻。叶氏藏者，秘不示人，弟不敢问。
很难想象，以之谦和树镛的交谊，连新收叶氏藏品是些什么，竟然到了“不敢问”的地步。他甚至鼓励锡曾，不动声色，去信向沈树镛刺探：
兄可致书探之。二月四日，嘉兴舟中作
——尺牍通三二
传闻富华阁释出一些珍藏，魏锡曾先是怕之谦泄密给沈树镛不告诉之谦，后来又怀疑已被树镛暗中买下，却骗他说没有买到一物。这种猜疑心境为之谦看穿后，即主动在信中替树镛解释：
富华阁之物实无有，非均初买之而说不得，请勿疑；此条非均初嘱。然兄当时不告弟，盖恐其告均初夺之；何愚也。
——尺牍通三一
有的事情不敢问，有的事情不肯说，也有的朋友随归乡潮分散江南各地音讯杳然，但是他们间那份分享金石之乐的情谊和关怀，似乎并未随时空而冲淡。之谦在同治五年冬，函告锡曾：
弢老殁后尚无憾。梅生近亦捐官来浙中；今日得其书，穷亦甚矣。荄老已赴临江，佛生久未得信。大约友朋中惟富者仍富；均初以外，不能有好事到人耳边也。
——尺牍通一
同治六年，之谦在杭州应酬绘画，推测可能不在少数，但在北京流传下来的，仅见为友人纯卿所作的《白石红梅图》。湖石形颇奇特，画面左边，悬空露出半块下不见地的奇石，皴法简洁。从石上、右侧和石洞中，透出寒花绽放的红梅。给人一种疏梅瘦影，暗香浮动的感觉。落款于右下方，在布局上，既见深思，又显得完全自然。
年关将近，白雪覆盖的帝都，开始了另一种繁忙景象。从各地赶来准备赴试的举子，使大小客栈，几乎家家客满。车水马龙的大街上，尽是拜会、赴宴的人群。琉璃厂的一间间笔墨庄中，交杂着各省口音。
之谦从潘祖荫处得知，李慈铭刻在浙江书局任总校勘，并被张孝达学使约至武昌襄助校对工作。由于丁母忧，既错过了本年浙江乡试，也与七年春天的礼闱绝缘；言下颇表惋惜。
从同治四年榜发之后，援例捐官的胡澍，请假还乡，一直在江南活动，也在天寒岁暮的时候，重回北京赴试。寓居西城瓜尔佳氏双海棠坞的胡澍，为能在春闱中奋力一搏，自难像同治二、三年间，与之谦时时相聚，共享金石之乐。
当沈树镛和锡曾妻舅张少原，都流连于江南之际，之谦心中，颇感落寞。
同治七年戊辰科会试发榜前，之谦流传下来的作品，有正月为绂庭所作《岁朝清供图》，三月为皞民画的桃花折扇。北方三月，冰雪消融，桃花灿烂，是踏青的季节，桃花扇有祝贺春风得意的象征。
只是这一年榜发，胡澍和之谦并未春风得意。
胡澍以所有积蓄，加捐郎中，分发至户部山西司。但因俟次候补者众，胡澍仍以资浅，得不到实授官职。他由此尽量谢绝应酬，专心著述。同治二年入都之后，痔疮始终困扰胡澍。他虽然深研医理，但各种疾病，时时缠身，自觉恐怕难得高寿。他悲观地表示：
尝以风尘驰逐，验轮、蹄之铁，每岁必销寸许，况以脆薄之身，无怪其然矣。
意思是，车轮、马蹄之铁，在不断地驰驱下，年销寸许，经过多年颠沛流离的脆弱之身，将何以堪！
再一次潦倒于春闱的赵之谦，想法上也有了极大的转变。
首先，他想到考场失意，不是他才华和能力的问题。八股文取士，像鸦片一样地麻醉了士大夫和读书人。对此，他早有所见。他不愿再在这种愚腐无用的“文章”上一较短长。换言之，他对科举一途已经绝望。
想到内忧、外患局势下，在缪梓幕中多年所受的熏陶和谆谆教诲，使他雅不欲抛弃社会责任。
犹记魏锡曾为他拓辑印存成书时，之谦感慨系之地篆“稼孙多事”四字，并在短序中写：
然令我一生刻印、赋诗、学文字，固天所以活我，然于我父母生我之意大悖矣；书四字儆之。
这四字篆书，与其说“儆”锡曾，勿宁说是自我惕励。
此生究竟要成为艺术史上的重镇，或实践“父母生我之意”？似乎到了该作抉择的时候了。
赵之谦后悔同治四年落榜之后，未听胡澍的劝告而捐官；当时的理由是经济拮据，力有未逮。但，如今岁月蹉跎，捐官不是一个小数目，又何时可逮？
除了捐官，尚有沉重的家庭负担；养育子女外，从这二年返乡情况看来，侄儿侄女婚嫁，长辈的就养丧葬，宗祠修葺，祖墓祭祀，几乎排山倒海地推向他的身上。
多年以来，他对修身养性，表现性灵的艺术，始终珍惜自秘。尽管在士林中声名大噪，但，倘非知音好友，想得他片楮寸缣，都无处索求。
返乡两年中，他稍微放宽尺度，索书索画者踵门而至，户履常满，可观的润笔，支撑了庞大的开销。在他心中的天秤，所习诸艺，弹琴用以自娱，弈棋意在交友，书画于他，无非天才胜于人力，是轻易获得的成就。唯有篆刻，他自认“天五人五”，是他才智和刻苦专注的结晶。
经过反复地思索和挣扎，他决定把书画作为捐官、养家、济贫，乃至“天所以活我”的工具，唯有他自觉有继往开来使命感的篆刻，依旧保持私密，倘非真正赏音，宁可封刀，绝不作无谓的应酬。
同治七年由夏至冬，之谦印谱中未添新作，而书画集中数量大增，可能就是上述抉择的具体表现。
画中颇多写生作品，花卉布局，水墨淋漓的湖石，一仍徐天池的手法。七月为次侯所画纨扇中的雁来红，是他在北方秋凉中，最爱描写的题材；也许是他乡愁的写照，希望能像秋鸿般及时南翔。雁来红背后的菊叶，绿中掺墨，近乎红花墨叶的画法。双钩敷粉的绽放菊花，在红叶照映下，显得似有若无，成了名符其实的隐逸之花。
九月为同年友练溪所作四屏花卉中，第二屏的葫芦，题诗颇具讽世的意味，不能不说是他悲愤心情的流露：
世事近来无大小，只须依样不须奇。
田湌师句也，作此坐右，可乎？叔记
随波逐流，凡事依样葫芦，排除创意和革新；可悲的现实，却成了多少才智之士的座右铭。
第四屏梅花，款题：
画梅以墨和赭为之，乃冬心创格也，戏效其制。[11]
之谦书画篆刻，均无常师，也无不以古为师，融会贯通，求创新格。《富贵眉寿图》就是一例；湖石、牡丹，石后老梅纵横，虬枝古干，苍苔密布，与娇媚的牡丹，形成刚柔的强烈对比。款题：
元人作眉寿图，皆作黄梅华，兹用其法为之。同治戊辰十月，叔赵之谦当求书索画者日众，之谦应酬不及，只好物色书画格高，且能守口如瓶的友人，代为捉刀。