之谦永难忘怀七世祖赵万全旌孝子的荣耀，早年便刻有“金蝶投怀”、“二金蝶堂”图章。其后“二金蝶堂”印在战乱中失去，同治元年在福州买到佳石重刻，并在边款中，刻万里寻父，金蝶投怀的故事。
光绪六年，之谦叔祖赵彦晖，重刊《赵孝子思亲录》，命之谦征求诗文，扩充思亲录的篇幅，之谦首先想到好友董觉轩。觉轩为赋长诗，表彰赵万全的事迹，赵之谦在手札中，少有的以楷书郑重申谢：
蒙赐撰先七世祖孝子诗，求书一纸颁下，以便寄族中长老编入题咏，容再酒（？）谢。敬承起居，之谦顿首生于浙江余姚县的王阳明，以一介儒生，研究朱子、陆子之学，阐明圣道。更难得的是面临宁王宸濠谋叛，生民涂炭之际，毅然发动江西州县薄弱的军力与之对抗。在危殆中，用间用计，鼓舞士气，迅雷不及掩耳地敉平叛乱。王阳明成为浙江人的光荣和骄傲，尤其游宦于此乡的浙人，对他更是尊崇有加。
在南昌的王文成公（阳明先生）专祠，由来已久，康熙年间兴建，乾隆年间加以整修和增建房舍。但因地近闹市，狭隘、潮湿、喧嚣，使游宦江西的浙人，感到有捐金重建的必要。从同治到光绪初年，都以工程浩大，费用可观，迄未定案。近年，在候补道台吴紫楣和布政使王鹤樵大力倡导下，二人合捐一千金，其余由旅居江西各州县的浙江官吏，共襄盛举，计筹得白金万余，在东湖畔起造一座宽广堂皇的王文成公祠暨浙江会馆。光绪六、七年之交，费时八个月，大功终于告成。
长长的围墙，墙外十四弓地，可供走马。院内偏西，构筑三重屋舍，前厅奉祀文成公神龛，后有静舍，顺着走廊向东，有讲阳明学说的“传习堂”，堂后有轩，庭中花木扶疏，浓荫蔽窗，再东侧可以登楼，凭眺孺子亭和整个东湖胜景。
新祠告成祭文，便由之谦执笔：
惟子东浙大儒，西江都府，封侯庙食，经文纬武。提倡至道，曰致良知，坐言起行，百世之师。昔拜旧祠，遗爱所存，聿启新馆，桑梓斯敦。圣域贤关，宫墙在目，亭徐圃苏，高清是肃，坐几安善，笾豆馨，瓣香遥接，庶几式灵。
此文载于光绪十六年仲夏雕版的《悲盦居士文存》中，其时之谦早归道山。
《悲盦居士诗》，为其弟子和继子先后依诗稿抄录，由之谦自行按时序编辑，不但充实感人，将他二十岁以后的生命历程，具体地呈现在读者的眼前；只是到江西后，少有所作。
至于文章，除已付梓的《雪冤录》、《补寰宇访碑录》、《勇卢闲诘》、“双钩汉碑十种”的考证，新著《张忠烈公年谱》、《江西通志》某些篇章及丛书题跋外，一般散文并不多见。
《清人文集别录》中，评介之谦文存：
是集录文二十二篇（按，其中仅数篇，如王文成公祠告成祭文、新宁刘公墓碣铭、吴县潘公墓碣铭等外，余多代作），皆代人撰述者。惟汪汉郊《烬馀集》序，乃代许庚身作，余多不得主名。而皆寿序、碑志等应俗文，虽不刻可也。……是集刊成于光绪十六年，距之谦没已六岁，盖其家人仓卒裒辑而成，非之谦之志也。惜卷首无序目，莫由考见当时编次之始末耳。
对以精擅古文闻名的之谦，身后仅留下这样一本“虽不刻可也”的文集，实在是一件“非之谦之志”的憾事。
光绪七年六月，好不容易结束了《江西通志》雕版的工作，之谦病情却又加剧，他在给友人信中写：
弟迩日肝风之复作，风入左耳，流血水而聋且痛，现服药尚未愈也。
终于，他接到委札，继好友张鸣珂权代奉新令。董觉轩则分往奉新南方一县之隔的清江县。有朋友请他书额，他又习惯性地加上了“倚装作”的字样，表示他再一次整装待发。
大约六月末，之谦先令寿佺、眷属及男、妇十七八人自南昌登舟前往奉新。
稍后，之谦也与幕友上船出发，只是天热水浅，舟行缓慢，加上初三、四两日连遇大风，所以迟至初五才抵县境。由四十里外登陆，须乘肩舆前往奉新县城。路途颠簸，等到达时，行李各物，已经破碎不堪了。
哪知到了旅馆，刚刚下轿，寿佺便来吵闹，数说一名仆妇的不是，认为简直该杀该剁，非要赶走她不可。
知道寿佺素行的之谦，一言未发。
随后仆妇前来哭诉，表示行李和她的幼子未到，哭嚷不休，更受寿佺百般辱骂，使她不能再留，要回到省城南昌，请之谦赏她几千文，立刻动身回家。
正说话间，行李、幼子均已到达，仆妇情绪稍缓。之谦趁势劝慰；认为天黑了，行路太不安全，既然已经在家帮佣两年，不差一个晚上，待明天喝过接印酒再差人送回南昌不迟。仆妇听了也就无言而退。
只是寿佺依然不肯罢休，继续到账房大声辱骂，房中多人，只有一位叶姓亲戚婉劝，别人却冷眼旁观。之谦原想大声训斥一番，但见饭店人多，店东、男妇都在屋内，几经踌躇，终于隐忍未发。
不料，到了四更，仆妇竟自缢身死，之谦被其子叫喊声惊醒，急起抢救，但已回生乏术了。
由于尚未接印，仆妇命案仍归张鸣珂审讯。治理奉新长达十个月的鸣珂，虽然得罪一些富绅，对百姓则颇有德政，他审讯的公正性当不受怀疑，可以减少节外生枝。
之谦除借贷银两，在尸亲方面用些钱，减少纠缠外，只有听凭省方处分一途，希望中秋过后稍有进项，还清欠债。一旦官司结案，让寿佺携眷远赴扬州，自己也将引退。
之谦到达奉新后，原定初六接任，因仆妇命案延至初十。接着“观风”，了解境内各地政情，到廿七日才正式接任，署理县政。然而面对案牍，连书箱都不曾打开，终日忿恨，心灰意冷。他在寄觉轩信中，诉说命案始末，并表示：
若在中秋节后，则官亏可得千金，私亏有兴隆票作主；官亏则不了并不能行。拟先斥卖衣服器具，不足而后，以募化完工。拂衣归去作一品百姓何如？
儿子若亲生，则今日已杀之矣，此时只能待案了而后遣去。
悔恨中，他想到继子和七族弟间的纠葛：
之谦二十几岁时，寿佺祖父不顾伤天害理，把七族弟先人家产侵夺净尽，因此，七族弟和寿佺生父诚谦可算世仇。之谦老父在世时预料，其后人必遭天谴，得奇祸。
范敬玉死后，诚谦人虽鄙吝，却慷慨地收留了孑然一身的桂官。其后之谦以感恩的心情，收寿佺为继子，带在身边，一则减轻诚谦的家庭负担，并想藉身教改变寿佺的气质，勉励向学；加以他家世代积德，寿佺“天谴”或可化解于无形。
七族弟游手好闲不务正业的性格，之谦知之甚详，但他既来投靠，如不留在署中，难免到外面惹是生非。想不到自鄱阳回到南昌后，竟变本加厉地教坏寿佺，奉承他，教他瞒上凌下和陷害他人的伎俩。如果这是报复寿佺先人侵夺家产之恨，未免过于阴狠。乐山、少庵，这些被陷害侮弄的人，幸被之谦发现，冤屈得伸。之谦并不只一次在公馆严斥寿佺。
不意，到奉新的头夜，便惹出大祸。
过不多久，之谦便发现，原想把仆妇自缢案提到南昌府审讯，速审速结，不过治他以“教子无方，治家乏术”的罪名，最多撤职，只要打发寿佺携带妻女到扬州去，从此划清界线，他就可以以自由之身到杭州卖画作文，过他的“一品百姓”生活，但是事与愿违。
首先是省署方面，有人要落井下石。其次是仆妇亲族，纠合讼棍要藉题勒索。
他写信给南昌友人雨楼：
雨楼仁兄大人阁下：连奉两书，具纫关爱。悠悠之口，闻亦可畏；弟前此力言已过，静候降祸者，亦料若辈之兴风鼓浪也。否则教子无方，治家乏术，罪过虽有，而亦不能加数倍。惟以若辈之意测之，则多加数倍尚未足耳，官场伎俩于斯可见矣！
之谦在奉新寓所，狭小的空间，强烈的西晒，感觉上极不舒服。据当地绅士表示，奉新新任到县，寓屋仅此一所；而且十二年前曾经出过凶案；这使一向不信鬼神的之谦，只望早日搬进衙门。
一天，他正进署料理房间和家具时，报说有三名妇女到寓所中吵闹，存心藉命案为由讹索金钱。之谦以县令之尊不便回寓争论，便托方典史出面料理。
其后方典史从妇女所乘轿夫口中套出话来。原来正是典型的讹诈集团，先由妇女来吵闹勒索。如勒索不遂，传信给南昌候在磨子巷烟馆中的讼棍，立刻大肆兴讼。
官场中摩拳擦掌，准备落井下石，讼棍讹索，行将大举兴讼，使之谦不但不想妥协，反而将整个案卷一概禀报南昌府提讯，公事公办。他在信中告诉雨楼：
此次若撤，则再须料理，官亏有移交款已动用其半，交代清楚，告病回去，再画画作文，仍可吃饭。逆子即不治罪，亦决计弃之，听其十年一觉可也（按，指命其携眷前往扬州）。私亏则只能兴隆票矣，冤哉！弟之谦顿首，十七日三鼓
在光绪六七年的病及宦海波澜的种种煎熬下，除为张鸣珂写字画扇外，并非全无所作。
六年五月，为友人云翔作《天中节物图》摺扇写榴花菖蒲，是之谦到江西后少有的应时应节之作。
同月，又为公勖楷书新出土古刻纨扇。晋隆安三年十月立的“杨府厝神道碑”，四川涪州乡民凿山时发现，归安姚氏珍藏。魏正光四年十一月立于山东黄县的鞠彦云墓志未注明藏者。款书：
新出土古版二种，谪书数字，为公勖仁兄览。庚辰五月，赵之谦九月，作篆书联：
荒山野水破茅屋；
商槃夏鼎周尊彝。
此联无上款，推测为自己欣赏玩味所作。当时志局同仁纷纷轮委到州县赴任，之谦独被谕留南昌评文，处理志局未了之务。“荒山野水破茅屋”，是他时时向往的自由生活境界；“商槃夏鼎周尊彝”，是他钻研半世无法忘情的稀珍。正如前面所书的新出土古刻一般，永远为他梦寐所求。
七年八月所画《竹梅》，正是在奉新仆妇命案发生未久，谣言四起，宦海掀波陷之谦于忿恨怨苦中的笔墨。条幅中以浓墨写成的梅枝，转折有致，梅后的几枝淡竹，如篆如隶的霜叶，充分写出岁寒之友的不渝情谊。这不禁使人联想他对张鸣珂处理命案公正性的信赖，以及他在寄董觉轩、雨楼等好友长札中，那种尽情而毫无掩饰的倾诉。
光绪七年，之谦为暌违已久的潘祖荫楷书一联和刻一方朱文印章。另一无年款的篆书联，推测也可能作于这一年。
勤攻吾短；
靡恃己长。
伯寅世叔大人命书，光绪辛巳，赵之谦联语，正表现出祖荫勤于政事、谦虚待人的朴实性格。
《近代名人小传》评同光朝士：
朴干推文祥，精毅推阎敬铭，若好贤勤事，表里不欺，则祖荫其人也。
又说潘氏：
治事勤，日寅而起，至官署恒在人先，舆马甚蔽，同僚多笑，所弗计也。
他一点也没有大官的架子，闲时到北京小酒馆中自斟自酌，酒后有人持笔砚相求，就为他们书额写联。
朝廷对潘氏的信赖和倚重，也与日俱增，光绪七年已累迁为国史馆正总裁，次年八月，即拜为礼部尚书。
光绪八年，慈禧太后颁赐画兰，感念他对政府的贡献。潘氏书来，请为斋堂刻印。封刀已达十年之久的之谦，破例为刻“赐兰堂”长方形朱文印，左右两边，饰以龙纹。
边刻：
不刻印已十年，目昏手硬，此为潘大司寇纪皇太后特颁天藻，以志殊荣，敬勒斯石。之谦“大司寇”，是刑部尚书的古称，潘氏于光绪五年四月调升刑部尚书。之谦自同治十一年春离京后封刀不再刻印；款称“不刻已十年”，可能是概略性的说法。
在赵之谦印谱中，这也是他有生之年所刻最后一印。
之谦在致友人信中，详谈仆妇命案发生经过，信末附笔：
六舍弟已病，病且重，不知如何，实一件大心事又起矣，现住何连翁处。
同年冬，得好友魏锡曾噩耗；这都使他在流年不利的光绪七年，更增加了心灵的阴霾。
接到魏性之报丧信函，为光绪八年正月，之谦于二月廿八日复信：
正月接来函，读悉一一，悲感累日。不意金石之友，不获金石之寿……而同时审定印文（按，指同治二年所刻四人审定汉碑印），仅弟一人为后死，可哀可叹。
弟年来亦善病，病辄经月，须发白其七，又健忘，非复昔时之强悍。所未去者，卑躬屈节之技，学十年不得一分，则仍是狂奴故态耳。
之谦子婿沈子余，经之谦多方推荐，终于由任官福州的傅以礼代觅福建候补巡检一职。子余有无到福州，情况如何，却连封信都不来。因此，之谦复函中，问子余近况，讨论结合诸好友之力为锡曾出书，誓言这年冬天必写好所托双节母传……
但他在江西官场所受的压抑之气，实在难平，故在信中，也痛诋江西官场百态：
闻闽中欲考官，不知能公道否；若考必公道，天下无不遇士矣。远不如江西官场，昏昏闷闷，人兽一关，人绝兽活，比养蛊者聚百虫器为可异也。
——尺牍通二三
之谦鄙视江西官场，乃至顶头上司，并非从此际开始，早在鄱阳时期，就曾在信中对友人倾诉：
□师新政，无一可取，其透顶混账。
又说：
今日方知作官之术，不出“卑鄙无耻”四字，断非我辈所能。……弟立定主意，总以明来，断不暗去，不贪赃，不通私谒，遇事躬亲，不诿诸他人。若仍有把鼻（按，指把柄），为彼拿著，则天命也，不怕亦不悔，以此待之；此等官岂人所为哉！
他又在信中，向子婿沈子余透露肯贿赂钻营者的一本万利：
而贺观察之挖调江南者，近复以彭力，奉调回省，充水师统领，可岁入万余金，江西第一道差也。二千金本钱，获此大利，各有因缘，莫羡人也。（叶公超藏）
其时江西官场之贪风，由此可见一斑。
光绪七年秋，之谦坐困奉新，为寿佺事受谣言攻讦，和省府某些不肖官员的推波助澜及讼棍纠缠所苦。所幸这年奉新丰收，冬漕开征，成果丰硕，县太爷的收入也水涨船高。到了八年二月底，公亏私债，竟然了却十之八九。希望秋天卸事后，能门无索逋者的踪影，于愿已足。作楹联悬于门上：
上相大猷，论语半部；
司空家法，篱落一声。
注中有欣慰自己终能保持读书人风骨的意味。
天有不测风云，到了八年夏天，奉新一带像光绪四年的鄱阳一样，忽然发了大水，不久水淹入城，之谦设香案求晴居然应验。幸而奉新地势较高，不到两日，洪水退净，田禾仍旧有救。只有城外数十丈长的下桥，冲毁一半，城墙冲坍十余丈，署屋泥墙全数坍塌。
之谦带头捐五十金，很快地修好联络城里城外的下桥，民众大表感激。
其余如上桥、城垣、署墙，也命县署抢修，到了六月下旬，一一修筑完成。县署后墙十丈，只好留待七月中新令到任，自行捐廉修筑吧。据说新令蒋知县，不但是老手，而且占到实缺，比他的“五日京兆”，可要幸运得多。