赵之谦雅好考据，常为诗文凭吊历史人物，或就其生平功过加以评论。犹记咸丰四年冬天，之谦随缪梓前往嘉兴石门县时，曾秉烛考据县署旁石幢的年代。石门县是吕留良居住、讲学的“南阳讲堂”所在地。吕留良不但以讲授程、朱理学闻名，并被指有反清复明的思想，致死后遭剉尸之祸。赵之谦对追随鲁王抵抗清军的志士，如张肯堂、张煌言等一向推崇不遗余力，但他考据吕留良的出身和行径，觉得其言行不一。
吕留良原名吕光轮，曾中满清秀才，后因不善于八股文，岁试劣等（一说乡试不售），遂弃秀才，出家为僧；后又自托于明室遗民；并非真正的反清志士。
十数年后，之谦在北京曾见过有关吕留良档案，读过雍正皇帝对此案朱批。回返江南重游旧地，回忆前事旧闻，又知吕留良师事黄黎洲时，受黄氏之托购买卫湜《礼记集说》，却自匿不与其师，导致师生反目。之谦因此觉得留良为人实有商榷之余地，共赋七绝四首，批判留良。题为《吕留良逆恶昭著而近人以其学遵程朱辄有恕词甚矣小人不善之可掩也续述旧闻以示来者》：
洛闽正学伪殷顽，讲习堂余水一湾，空腹高谈焉取信，敬观禹鼎识神奸。
——四首之二
诸生弃却作遗民，三窟中容两截人，叵奈质疑存姓氏，不曾末杀吕光轮（留良为清朝秀才时的名字）。
——四首之三
瑞安县署西偏，有“放翁祠”。据说祠后原有古榕一株，荫广十亩。祠前有凉亭、池塘和桥；以前池中满种莲花。而今古柏、莲花均不可见。凉亭空余旧基，仅桥与池塘依旧，池底淤塞，菰蒲杂生。
死去原知万事空，但悲不见九州同，王师北定中原日，家祭无忘告乃翁。
陆游（放翁）充满爱国情操和悲凉意味的《示儿》诗，因母命难违不得已与爱妻唐氏离异的《钗头凤》故事，一时间涌上赵之谦心头。
这位南宋诗人，籍隶绍兴会稽县（一说山阴），和赵之谦是小同乡。在偏僻的瑞安县乍逢放翁祠，使他有些意外。
陆游早年，曾做过福建宁德主簿；在此，有人读到陆游《飞霞渡》诗，和周益公送陆游诗中的“里巷犹传主簿贤”句，推测陆游也许还做过瑞安主簿。只是，此事方志《职官志》中并无记载，赵之谦也就无法断定。
之谦初到瑞安时，曾联络署中几位绍兴官吏，计议醵金重建祠前凉亭，可惜其中有之谦所形容的“鄙恶者”一人搅局，致计议不果。
咸丰十一年，之谦中秋无聊，夕阳下独步放翁祠前，想到陆游，早年因才受嫉于秦桧，桧死后，始任微官——主簿，以贤、才为万民留下无尽的去思。在如此偏僻的小县也为他立祠，就是明证。
而他，一个落魄、穷困的后辈同乡，想为他醵资筑亭，也无法达成心愿，心中实感愧对前贤。
退一步想，瑞安滨海之地，文风原本不盛，倘亭如愿建成，有“鄙恶者”置身亭中，恐怕也非放翁所喜。思潮起伏中，之谦赋诗二首凭吊：
主簿何年记载疑，海邦犹有放翁祠，名高所至争遗迹，官小能贤总去思。落日墙阴求刻石，飞云江上剩题诗，中原万事哪堪问，骂到文章罪敢辞。
小池阗淤乱菰蒲，残废亭桥半有无，榕树荫虚宫一亩，莲荷梦错酒一壶。公为前辈来偏久，我亦乡人愤已孤，要奉瓣香勤下拜，甚惭好事属穷途。
将近腊月，太平军逼近温州，永嘉局势一天比一天紧迫的时候，赵之谦因与明嘉靖年间宰相张璁十六世孙张铭交往之便，埋首研究张璁的生平和功过。
熟读张璁多种著作及文献资料，赵之谦对一向被人视为“权奸”、“佞臣”的张璁，有了不同的看法；他在《章安杂说》中写：
《谕对录》近刻止十一卷，不及原本什之三。原目列后，余借观一过，中如议先师祀典……简拔人才诸疏具在；其所言能洞彻利弊所在。明季，士趋理学，永嘉为相，良知之道，方行于天下。在朝者多以安静为经，而彼独喜动作，宜得众恶；幸世宗一心委任，否则危矣。
——则六一
《谕对录》为张璁所辑，刊载嘉靖皇帝谕旨和张璁应对的奏疏。之谦读后，对当时学术、政治以及张璁革命性的看法和作为，予以肯定。
张璁（孚敬、茂恭、罗峰），世居永嘉。明正德十六年，他仅是初入仕途的观政进士。
正德十六年三月，皇帝朱厚照驾崩时，由于没有子嗣，皇太后以遗诏遣人至湖北安陆，迎请朱厚照堂弟朱厚熜入继大统。
年仅十五岁的厚熜，是皇叔兴献王朱祐杭与王妃蒋氏的独生子，即位次年，改元“嘉靖”。
朱厚熜即位不久，诏命礼部尚书和各部大臣集议，如何崇祀其生父兴献王的典礼；这就是明史上著名的“大礼议”事件。
朝议结果，援引前史类似的情况，主张厚熜应一方面继承明朝的帝位，同时也成为明孝宗朱祐樘（正德皇帝之父）的子嗣；以免孝宗绝嗣，因此应称孝宗为“皇考”。
至于其生父母，须改称“皇叔考”和“皇叔母”，兴献王庙依旧立于封地安陆，春秋奉祀。
但，朱厚熜和生母蒋妃，不愿接受这种安排，甚至以不惜退位回安陆来威胁皇太后和朝臣。在这种僵持不下的时候，观政进士张璁上书，指新君只能继统，不必做孝宗的子嗣，并独排众议地认为应立兴献王庙于北京。
为朝议所困恼的朱厚熜母子，对张璁上书大感欣慰；依此兴献王与妃，在明朝历史上的地位将大为提高。
其后认同张璁论调的人渐增，如桂萼、方献夫等都受到新君的不次拔擢，和朝议形成抗衡局面。其主张大略为继统不继嗣；尊称皇帝祖母为皇太后，父为“兴献帝”，母为“兴献皇后”。立兴献庙于宫中。称孝宗“皇伯考”，孝宗后则称“皇伯母”。议礼不合帝意的尚书、大学士则先后引退，或遭罢黜。
大礼议争论达四年之久，到了决定性阶段，六部九卿多达二百二十余人，跪伏在皇宫的左顺门，上谏理应继统继嗣，尊孝宗为“皇考”。他们高声大哭，甚至撼动宫门，声传大内。嘉靖皇帝十分震怒，命锦衣卫逮捕为首者，其余记名查办。
结果，一百九十人入狱；杖死、流放、免官、罚俸，分别遭不同处分。从此，朝廷百官，士气低落，人人自危。张璁、桂萼等，则飞黄腾达，气焰益张。
当赵之谦读到张璁表白自己理想、抱负与改革方针的《辞恩荫疏》后，越发为张璁的热情所感动，他认为张璁为相时，改革财赋，裁汰冗员，禁绝贪污，自己也清廉自持，不能不说是才智之士。有些政策，即使坚持过当，也是被所谓正人君子激迫而成。他写：
自古负大才智人，无不知是非者。而斤斤较量之正人君子，则有私是非而无公是非，且竟有不知是非者。坐是，见一异己则群指为非；而造物者又生无数庸陋之人，随声附和。
他指出，在正人君子纷纷指斥，庸陋者随声附和之下，便使有才智者日趋孤立与偏激：
而此一人者，乃成“一不做二不休”之局，实至不顾身名，力图尽己所欲为而止；此等处正须原谅。
——《章安杂说》则五九
赵之谦一反前人论断，认为张璁虽当大权，却非大奸。这可能和之谦的性情、遭遇有关。
他自幼聪颖好奇，凡事都要考查清楚，问个明白，塾师、亲长，常无以应付。稍长，家道中落，饥寒交迫，他仍旧孜孜向学，努力不辍。但由于个性倔强，桀骜不驯，所到之处，常被视为异端，激恼之下，言行也就越发显得偏激。所以他论张璁：
权则有之，奸则由众正人君子所谓岳岳者激成之。
当是有感而发。张璁《谕对录》中，有杨鹤序：
公终身不治生产，近清；禁绝私交，近正；功成名遂身退，近智。……盖大臣之事君，威福之柄不可有，是非之柄不可无。后世避威福，并避是非，胆不足，而国柄与之俱失矣。若公者，非特肃皇帝（按，嘉靖帝）救时之宰相，抑亦万世救宰相之药石也。
赵之谦表示：
此论与余合。
——《章安杂说》则六五。
事实上，这也是赵之谦尔后为官、做事的座右铭。
预定在十一月中旬登船前往福州的前仁和县令邵燮元，届时并未成行。直到十二月中才和之谦一起搭上开往福州的西洋火轮。码头送客的人影逐渐模糊，温州沿岸的山色云影不断地后退；不知何时，江心寺的双塔，也离开了视线。滞留温州八九个月的时光，风波不断，战局不利的军报纷纷传至。加上绍兴失守，妻女存亡未卜，对赵之谦而言，仿佛是场无止尽的梦魇。使他心中不忍的，是积劳成疾的陈宝善，就此一别，可能相见无日，之谦临行，就更加离情依依。
年关将近之际，船过福建长乐县东，孤悬海中的白犬岛，突然风浪大作，涛起云涌，轮船岌岌可危。西洋船长脸色大变，不顾旅客安危，叱令旅客离船。一时之间，八十位乘客，吓得面色如土，齿牙相击，不知如何是好。
赵之谦虽然生长于水乡泽国，但自幼外出旅行，均航行于曹娥江、钱塘江、富春江及运河水路。自咸丰十年春北上应试受阻，南返时始搭海船，这次是第二次，不意风涛凶险一至于此。他对洋轮船长不顾中国人性命的蛮横态度，深感愤怒。为了救人自救，他挺身与之理论。赵之谦费尽唇舌，同行者总算没有被弃荒岛之上，接受未可知的命运；后来，他在诗中，犹有余悸地叙及当时情景：
甫过白犬岛，重洋极波诡，夷酋忽作恶，叱客于斯止。同舟八十口，面觌相击齿，挺身效游说，救人方救己。百计易舟出，舌烂宜可恃……
他在同治元年春一首诗与注中，回忆那终生难忘的一幕：
忆昔从军岩衢口，奋臂大呼瞻马首，两年一再涉洪波，壮心挫尽惟哀歌（余自庚申北行阻寇，比归又逢杭州之变，遂取道澉浦渡入余姚。去冬由瓯入闽，再附海艘，甫抵白犬山下，风起水涌，几葬鱼腹）……
一行人换船续航，到达福州时，已是腊月将尽，家家户户准备过新年的时候，看在无家可归，穷困落魄的流浪者眼中，别有一番滋味。
他第一个要见的，是阔别两个多月，朝思暮想的诗友江湜。
福州是江湜旧游之地，道光二十七年，江氏曾在福州从其表丈彭咏莪学诗三载。此次到闽，一方面等待两位弟弟讯息，一面为人授经。之谦欣知江湜在福州有位江西宜黄老友符兆纶（雪樵），因为人正直与俗人龃龉而去官，但他慨然愿意为江湜刊印《伏敔堂诗录》，且刻已过半。江湜自己也积存束脩，以求人助自助，使诗录早日问世。
心灵空虚的之谦，见到江湜，真如见到亲人一般，执意要以兄礼事之，江湜推辞不过，赋诗以答：
嗟我念两弟，烽火见面难，昨日书一纸，读之泪泛澜。我方愧为兄，君愿为我弟，何德以兄君，并以伤我意。昨岁越州乱，君亦无室家，无家两相似，得非兄弟耶！同君生东南，相对穷海曲，且算天壤间，有两江弢叔。
江湜与之谦在永嘉所结识的友人钱子奇，时有往来，子奇好诗，今后诗酒唱酬，不怕无伴。
这一年除夕，之谦可能与孤身在闽的江湜共度。回想婚后十余年间，始终奔波在外，到了腊尽，才风尘仆仆地返家团聚。不意如今却有家难归。心中感慨无限，赋五律一首：
三十三除夕，今年在客中，生从奔里走，喜与朋友同。有岁吾能守，无家鬼不穷，梦醒应齿长，天事此犹公。
在诗序中，他忆述这段漫长的辛酸岁月：
自庚戌（道光三十年）以后，客游者十二年，岁必返里。虽无资，有债必偿；或贷诸人，量入为出；然甚苦贫。
今兹难后，无家可归，守岁异乡，藏身已固，门无索逋之客，室有同心之言，而顾影长思，可胜悲感；成四十字。
——《除夕作》
身在异乡，人地生疏，使赵之谦进一步体会到炎凉世态，他在为友人画梅扇上题：
作花绝早岁已寒，结果如此终心酸，一朝剪伐供把玩，合受旁人冷眼看。
自古诗人以开花绝早，不畏酷寒的梅花自喻。一旦梅花被剪下装饰、把玩，也就失去了它的高傲与尊严，自然像梅子一样，令人心酸。然而，令赵之谦心酸的不止如此，他和前杭州仁和县令邵燮元上书福建巡抚徐树人，为缪梓讼冤，却未得朝廷的恩准。看样子，官司即使打到北京城，能不能平反，恐怕也是未知之数。