六朝金石和文献中，采用别字的地方颇多。之谦一面考订六朝吉金乐石，一面记录别字，考据别字来源，著成《六朝别字记》一卷。初稿于同治三年十月完成，在北京这时早已天寒地冻，之谦呵着手，拈笔为自己的新作题写书名。在好友锡曾的“缓刻”声中，他仍感到一丝欣慰。生于战乱时代的他，亲人、财富和学术著作，唯恐转瞬之间，烟消云散，一无所有。
又是岁末，在日以继夜，辛勤而近乎单调的金石审定工作中，沈树镛、胡澍及之谦、志复师徒，所能享受的最大乐趣，似乎是探听到哪位金石藏家需钱孔急，想廉价出脱全部所藏。从赵之谦同治三年岁末给魏锡曾的一封信中，可以看出他们节衣缩食，疯狂抢购古物的妙事：
腊尽得“小钱李”铜像三尊，咸通间阳文造像碑亦得。虽快意而囊中空无有矣。乐安公主、秦江、王成三像为荄甫得，武容双观音像（建德元年）、乌容女残像为子重得。总计彼所藏，佳者殆尽……
所不得者，独一“程显忠”（元象二年，此像极精）。又一武平、一开皇为遂生得，共送伊钱两百余千。各家度岁，室中皆对古佛矣；可喜否？
——尺牍通二九
之谦自从妻子和两个女儿病逝家乡后，一心向佛，加以爱其造像铭文，一有机会，便大量收购古佛。
之谦信首所说的“小钱李”，是正定人，名为李宝台，家住宣武门外。盗墓取墓铭，到庙中破龛偷佛像，假造各种古钱……是个无所不为的古董贩子。他所经手的古物，不下千百件。高龄六十却仍旧无须的他，身形瘦小，动作敏捷。锡曾形容他是“枯藤老猿”，之谦说他坐在堆满古物的破屋中，倒活像石窟里的北魏造像。同治二年秋天，之谦、树镛和锡曾，是来此买碑寻宝的常客。不意同治三年腊尽，各家却有志一同地，把过年用费耗在小钱李的身上。
之谦对在北京的研究成果，自感颇为满意，信中不忘告诉锡曾说：
八分大有进境；即作书更有见地。年齿尚不老悖，或未至荒弃也。刻印亦觉更进，续稿甚精。
不过，年关岁尾，有钱买佛无钱过年的赵之谦，真可谓“人穷志短”；信末，一面向锡曾讨刻印的润例，一面请锡曾代向江湜借钱。
锡曾返闽之前，买了两块印石请之谦刻印。到了年尾之谦翻起旧账，表示其中一方已经刻好，另一方印石应归他所有，理由是“以酬腕力，想不恶也”。至于仍留福州的江湜，景况和之谦一样寒酸，他向江湜借钱，也只能算试试运气，他求锡曾：
夏间大穷，秋冬恐有过不去之势；天欲杀之，无能强也。明岁拟急归，否则客死可惜也。欲向弢叔求借钱策，信中已及之，如加一语切恳之，尤感。无所获则止，万一有获，望早汇寄。
当几位至交同好，纷纷把佛请回家中，把难得一见的碑版珍重收藏之后，赵之谦另一项工作随之开始：
之谦手札，向锡曾开列各家所购古董，说武容双观音像和乌容女残像为“子重”购得。子重姓刘，名铨福，大兴人，两世好古，收藏金石无数，并和之谦一样，尤其喜欢搜集佛像。早在锡曾入都前后，之谦就为他刻“大兴刘铨福家世守印”、“刘铨福”和“子重”等印；如今大有所获之后，势必要添新印。
胡澍对腊月所得北魏孝文帝女乐安公主造七佛像，异常珍爱，特别把书房命名为“乐安七佛之龛”，倩之谦以大字书额，并刻长方形白文印一方。
前述北魏郑道昭（僖伯、中岳先生），为山东光州刺史时，为纪念其父郑羲（谥文），先后在掖县天桂山和云峰山摩崖，刻同样的文章，分称“郑文公上、下碑”，或“郑羲上、下碑”。其中下碑石质好，下临大海，发现较晚，字迹清晰，特别值得宝爱。此碑，不但在书道史上地位极高，对赵之谦书法的影响，也难以估计。
包世臣的《艺舟双楫》，特别强调道昭对古代书体融会的贡献：
北魏体多旁出，“郑文公碑”独真正，而篆势、分韵、草情毕具其中。布白本乙瑛，措画本石鼓，与草同源，故自署曰“草篆”；不言分者，体近易见也。
又说：
郑文公季子道昭，自称中岳先生，有云峰山五言及题名十余处，字势巧妙浚丽，近南朝郄超、谢万常，疑其父墓下碑、经石峪大字、刁惠公志，出其手也。
为了“郑文公上、下碑”的珍藏，沈树镛以“郑斋”自号，并作为藏宝的斋名。“郑斋”、“郑斋金石文”、“郑斋金石”、“郑斋所藏”，大大小小，刻印甚夥。他在“郑斋金石”边款刻：
北朝书无过于荧阳郑僖伯。
均初既得云峰、天柱两山刻石全拓，乃以郑名斋，属余题额，并刻是印。同治二年十月，悲盫记除了之谦题额、刻印之外，如上文所说的，沈树镛又请远在泰州的吴熙载题额。
赵之谦的绘画，像他早期的著作、书法和篆刻一样，因战乱而散失，或付之劫火。因此，很难看到发展的全貌。
在他遗留下来的绘画中，几乎全属花卉；人物和山水，百无一二。人物画，除因韩佛生潦倒科场，终日酗酒，而作《醉魁星》图加以劝诫外，只有应时应节的钟馗像、钟馗戏鬼图和《龙威丈人像》数幅而已。
山水画虽较人物画略多，但也十分有限。
他好奇好动，所游名山胜水无数，触目所及，无处不是画稿。
从福州返回温州途中，山路险峻，风云变幻，飞鸾渡波涛汹涌，危机四伏；他赋诗连连，却未施于丹青，不能不说是件令人费解的事。直待见到他同治二年八月赠友人景初的山水画扇，才恍然大悟，此中大有原因。
近树远峰，山势回转呼应，布局简单，却有连绵不断的韵致。上题：
不画山水已十五年矣！
景初必欲画此，勉强成之，可笑甚也。甲子八月，叔临黄鹤山樵本从同治二年上推十五年，也就是说他从二十一岁起，就不再画山水画。
从文献资料看来，赵之谦十九岁与范敬玉结褵，由于家境困难，开始教馆生涯。因扶乩者罗道人的启发，对作诗发生了浓厚的兴趣。次年考中秀才。二十一岁始，和好友孙古徐相约，节衣缩食，计划搜集并出版古书。其年留有画梅，并题诗：
老干槎丫酒气魄，疏花圆满鹤精神，空山安用和羹手，独立苍茫揽古春。
从这几年搜集古书，继历代绝学的心志，和题画梅诗中所表现的雄浑与刚健，都无法和停止山水画发生任何联想，这件事，可能就成为永久的悬案。
不过，十五年不画山水，可能只是概略性的说法。例如，画集中有幅二十七岁那年十月摹梅道人的山水，署赠“稷芝十一丈”，前曾引刊的，为陈宝善所作《瓯江记别图》，都作于不画山水的“十五年”期间。
有幅未具年款，现存上海博物馆的《积书岩图》，是他山水画中的合意之作。远近两崖耸峙，苍松掩映，隐约见到悬壁岩穴，露出两排整齐的石板，形状类如高高堆叠的书册。山石皴法，很像黄鹤山樵王蒙。由此推测，他的山水画，多以元四家为蓝本。款署：
积书岩图。
郑盫侍郎命，赵之谦画
“郑盫”为潘祖荫的号，此画是他寓居北京期间的酬知之作。
和同治二、三年，篆刻书法的收获相比，之谦在花卉方面的创作，就微乎其微了。
二年四月廿四日，为友人润生作设色纨扇，淡雅秀润，很有扬州八怪中李的韵味。余者不过《中天五瑞》之类应时应节之作。
同治四年，篆刻骤减，画兴勃发，首先为弟子朱志复画了幅《岁朝图》，陶瓶中，插着牡丹、梅花一类花卉，充满富贵吉祥的气氛，可能也为二月间赴礼部试讨个吉利。
试期过后，也订了不少画约和创作的计划。战后的首次归里，是件令他又兴奋又紧张的大事，准备、筹划；无奈阮囊羞涩，尚未近乡，却已有些“情怯”的意味。
会试前的举人复试，使之谦想起刚进京时，在漫天风沙中所参加的复试，他曾经写信向锡曾抱怨。不过，那次的恩科会试，不知何故，他并未入试。又到了风沙时起的烦人季节。来京的各省举人，互相拜会，探讨近年的试题，交换所得刊印的范卷。胡澍也积极准备闱中一搏，因此，和之谦反倒较少见面。
二月初九、十二、十五三次进入密如蜂巢般的号舍，最后一场出场时，已近二月下旬。赵之谦长嘘一口气，仿佛重新恢复了读书人的尊严。
自古士为四民之首，以其知书、达礼、有创见，又有经济之才，可以造福人群。视八股文如鸦片一般的之谦，觉得那是百无一用却足以消靡士气的麻醉品。尤其当他进入缪梓幕中，讨论各种实用之学和治世之道，更加深了这种感受。
二十五岁，他首次乡试落第的次年，曾赋答友人王晋玉（瓒公）《问学》六首，此际诗稿尚存的仅余一首：
……识字务觅举，八比且称文，如妆复如戏，鼓掌遂摇唇。其幸自获选，否亦潦倒均，千百约师弟，一再误子孙。奄然死牖下，六十竟不闻，英雄入彀中，祸甚于坑焚；地下秦祖龙，游魂来笑人。
考完三场后，之谦把八股文抛诸脑后，首先偿还画债；能否金榜题名，衣锦荣归，得看天命，但，可观的润金，对重整残破的家园，不无小补。
三月，作设色花卉四幅。首幅牡丹，题：
富贵昌，宜侯王。
次幅篆书“紫绶”二字，记：
复堂画藤多疏，学之仅得其密。乙丑春，叔记事实上，之谦所绘长幅花卉，布局多密，款识则多在左上角或右下角空白处，应于他书法的“计白当黑”，“疏处可以走马，密处不使透风”的结体、章法有关。
第三幅，《芭蕉老少年》。开花的芭蕉，入秋后叶子由绿转赤的雁来红，中间一块斜斜的，玲珑透空的太湖石。水墨淋漓的湖石，手法上也颇类徐文长。上题：
天浆神酒，永享年寿。
最后一幅芙蓉芦花，都是秋冬景物；年高德劭的象征。款：
风行草偃，拒霜敢战。
同治乙丑三月，为鹤缘仁兄作此四帧，拟苦李（按，李号）法。之谦记四幅画完，之谦命志复并悬于壁间，细加打量：
侯王的富贵和权势、神仙般的红颜永驻、耐霜化俗的道德修为、人世间的幸福荣华，可算全部集于一身；到底是真实？是善颂善祷？还是在编织一场春梦？他不禁又想到《红楼梦》中的种种情节。
此外，在等待放榜期间，又为雅林画《菊花灵芝》折扇，为瘦梅篆书五言联，为沈树镛新藏古本《隶续》书眉。这部书，原为绍兴梁文定所有，文定孙梁念培，是之谦已故的授琴老师，文定曾孙梁之望，是他师侍沈赤时的同学。之谦青年时期常往梁府走动，所见古碑古迹无数。咸丰十一年绍兴经战乱之后，恐怕一切都无从闻问了。想不到此书却由故乡散失，流入北京，三年秋为树镛所得。是缘分还是残酷的讽刺？赵之谦在《隶续》跋中，写出不胜今昔的惆怅。
四月十五日，会试榜发，历经五年的颠沛流离，之谦得到的是失望和空虚。
事后得知，房考官扬州江都县薛斯来，看到之谦朱卷，十分欣赏，大力推荐。但主考官说“经艺多援古书”，坚决摒弃。
又是文体之争；咸丰九年乡试，扬州甘泉县主试汪承元，对他试艺赞赏不置，欲取为解元，结果却以“首艺简古”，被考官们抑置第三。岂知春闱之中，再次遭到同样的议论。
和之谦同样陷于沮丧失望的胡澍，援例捐银为内阁中书；不过因为资浅，空有官衔未得实授，只好先请假回绩溪，探望族人。当他劝之谦同样纳赀，捐个一官半职，之谦表示手头拮据，恐难如愿。
退而求其次，之谦请同乡京官出具印结，向礼部呈请参加举人大挑。经过谘送吏部堂官验看相貌、气宇、应对等，合格之后，再请旨派亲王、贝勒等亲贵公开挑选。之谦以书法工整，文史素养深厚，取为国史馆誊录。
在潦倒科场的激愤中，使之谦想起他以北魏体为潘祖荫写的堂额：
不读五千卷书者无得入此室。
语出隋开皇年间员外散骑侍郎崔儦；崔儦年轻时以读书为务，恃才傲物，在门上大书这十二个字。潘祖荫则请之谦书额，以激励后生努力向学。
之谦自幼博览群书，手不释卷，结果却为他口中所说“几篇烂八股”埋没，无法一展济世之才，实在是一种讽刺。因此，他自题一额，把寓中书斋命名为“悔读斋”。
赵之谦在炎炎夏日的许多画作中，以六月所画的十二帧花卉册，最为可观；继咸丰十一年七月在温州为陈宝善画《瓯中草木图》四屏后，为新的高峰。
《瓯中草木图》和三月为鹤缘所作仿李花卉，采取他惯用的狭长条幅，上下稍留空隙，余者花繁叶茂，湖石、枝干，充塞其间，形成“密处不使透风”的对比效果。但，这十二幅花卉册，画幅接近方形，笔墨轻灵，以疏淡雅洁取胜。金石派后起之秀的齐白石，自述中称是“红花墨叶”法的开创者。不过，之谦此册已多采红花墨叶画法，或墨花彩叶的赋色方式。可见此法并非白石首创。
此外，所画花草，如桃柳、芍药、牡丹、萱草、白菜及胡萝卜、荷花等，都是北方常见之物。最后的折枝牡丹，采取和前十一帧没骨法相异的勾勒着色。从题记中，可以看出他改变画坛观念的苦心：
同治乙丑六月，赵之谦叔画于都门寓庐之悔读斋又记：
凡画没骨者，必先事勾勒，所为绳墨彀率也。近数十年，画家务趋便宜，遂令贵耳贱目者，见勾勒本必指为俗工；甚异事也。成十二帧，终之以此。并记之。