大约光绪五年岁暮，之谦交代完鄱阳县务，回南昌与家人团聚度岁。
《江西通志》的修正工作，仍在紧锣密鼓地进行，准备夏秋之际，以缮正本送军机处，呈皇太后及光绪皇帝御览。同时准备开雕刷印。新年过后，之谦即投入志局工作。张公束、董觉轩和他居处相去不远。之谦看书，裁稿，考证误谬，调阅江西所属州县资料，遇有应修应补的地方，或发现新的资料，立刻写成书简，命家仆送给几位编辑。
他和公束、觉轩往来最为亲密，仿佛对待胡澍一般。手札中可以见出他们酒食相呼，需要时家具、衣服可以互相借用，生病时，之谦赠以特效药或秘方。
南昌府列女传，及府志五册送去，请详细一勘，应移改处尽改之。或裁纸补缀言可钞。此上公之束仁兄同年。弟赵之谦顿首这是典型的谈志局公事的札子，可以显示出之谦充分授权的行事风格。
有时，考、校《江西通志》以外书籍，他们也互通有无，藉短笺相互切磋。
湖州府志金石略，今早费大力寻出（分作三处收之，故遍觅不得也），所欲考者，在第五卷（已折角），大约仍是错也。然略一翻阅，必有可益尊著，请悉心阅之。此上觉轩仁兄。弟赵之谦顿首之谦这类手札，多不署年月，但由于信笺上印有双钩“大唐永隆造像记”及小字“光绪庚辰听邠馆制”，可资判断作于光绪六年。
除志局工作交代，切磋彼此著作，代找书籍资料外，之谦也经常在信中诉说病痛和心中的苦闷：
觉轩仁兄先生左右：顷奉手示及余生录写本，感甚，感甚！弟自前月头风大作，两耳烂而后聋，服药数十剂，头风止，而耳烂如故，聋则少差矣……
董觉轩除深厚的学术造诣，之谦更佩服他的修养；他告诉礼严：
觉老天下无敌，仆则舟中皆敌，不敢不慎也。
可见之谦性情耿直，言语犀利辛辣；之谦自知“舟中皆敌”，也为后来某些人对他落井下石留下了伏笔。
之谦在志局忙碌之际，曾去信给向他征法书的何绍基弟子，谈及自己的字体：
弟于书仅能作正书，篆则多率，隶则多懈，草本不擅长，行书亦未学过，仅能稿书而已。然生平因学篆始能隶，学隶始能正书，取法乎上，仅能得乎中，此甘苦自知之。
之谦所说的“稿书”，是一种行草相间的字体，晋卫瓘采张芝草法和其父卫觐的书法，为“草稿”，同时代的书家索靖，也擅草稿。作文起草与手札之类，多用草稿或“稿书”。
尤其在江西，之谦所写稿书最多，成为他在书法上一种特殊成就。
之谦在鄱阳时，与任官广信府的友人季仁为文学交，书札往来，辨难唱和。
光绪三十三年，季仁族孙伏民取出家藏之谦尺牍百余通，欲携往上海印刷，以广流传。最难得的，其中有六七封以蝇头小楷书写的手札，为之谦生平仅见。不意在渡鄱阳湖时撞翻了船，之谦尺牍也尽沉湖底。伏民痛心之余，只有浩叹：
虽言浩劫，因知稀世墨宝，造物所不容久在人间也。
并重新搜集之谦寄给他亡兄（伏民之兄）手札付印。世人对之谦稿书的珍爱，从这个故事中，可见一斑。
之谦壮岁，与魏锡曾交往密切，书札往返，讨论辩难。到江西后，日常庶务，多与舒梅圃、杨杏帆在信中托付和商量。有关志局及著作等事，经常和张公束等编辑研议。其后各家简牍，多为嗜书之家，收罗印影面世，将之谦千姿百态，造诣高超的稿书，公之于同好。
论者以为：
叔先生书，古茂旁薄，整饬矫健，久已有口皆碑，惟所流传者多整楷而少散行。兹册乃其中晚年与世往还之手札墨迹，寓整于散，藏风骨于姿态之间，尤为瑰宝。
——汪仁寿跋《赵叔手札真迹》
会稽赵益甫大令之谦书，融冶南北，妙蹑自然，视迩日书流，削圜成觚，诎曲耳势者，气象迥殊，庶所谓萧洒流落，翰逸神飞者已……
凋疏跌宕，弥复有晋人散髻斜簪意度。书中类多瘦词隐语；栖迟下位，涉笔触讳，其抑塞磊砢之概，尤足为才人不得志者发涕也。
——冯并跋《赵叔手札》
后边的跋，不但论之谦书风独特，更点出之谦手札唯恐触犯上级忌讳，为自己和朋友惹来麻烦，所以信中多用隐语，使局外人不能尽解。
光绪六年二月，之谦在南昌家中，咳喘宿疾，突然发作，服药之后，反而更加厉害。咳得无法入眠时，只能终宵拥被而坐。
四月廿四夜，忽然梦见出门，沿着大道前行。远望江湖，浩浩淼淼，无边无岸。他向村民问路，答称由此前行，便是“鹤山”仙人之都；往上行则为山内，向下走便是山外，并告诉他大道迂回遥远，可以走捷径。
在乡人前导下越走越黑，像走进枯井一般。他表示不能走捷径，还是回到大道吧，带他抄小路的人，就此消失不见。
终于又遇到了人，询问鹤山，其人不答，仅在掌上画字，摇头自去，之谦依旧一头雾水。
其后，又有人为他指向一隅，他依照前行，却突见百仞石壁上面，凿有“山”二字，他虽然不解其义，但知道可能是走错了路。如此又摸着石壁走了一里左右，见到一老者闭目趺坐茅舍中，二仆侍侧。之谦问山内外为何地，鹤仙又是何样，一仆答称：
“君非此类也；山外地近，明当引君游，可宿檐下。”
天色微明，一位仆夫扶他走过一座山，山前溪水清澈见底。仆夫并不缘溪而行，带他攀立山腰盘石上。只听空中响声大作，有如烈风一般。之谦抬头一看，鹤群飞舞而出，羽翼蔽天，他问有多少只鹤，仆夫说：
山外鹤不知其万亿兆也，此皆膺箓者，近已一千七百二十有九矣。
随后，清唳时发，变化很大，齐向前溪飞过。之谦偶然俯视溪中，赫然发现一种怪异现象：天上飞的全都是鹤，但水中倒影则是鸡、鸭、鹅乃至螳、虻、蜣、螇之类，无所不有；至于鹤影，却百不得一二。他怪而问仆，仆夫郑重其事地警告之谦：
毋多言，此为“地镜”；不与君缘溪，以是也。
之谦勉强仆夫一同去照地镜，之谦自视镜中影像依然是人，再看仆夫，却变成一只小小的发环。之谦认出那是“脉望”。
传说书中的蠹虫，三次吃到“神仙”字样，就会变成脉望。从发环似的脉望这里遥视天上的星星，星星便会陨落，可从星中取得仙丹度世。
之谦拍拍仆夫肩膀，连呼“脉望”，仆夫大不以为然地说：
知我视君又作何状？彼自视，亦皆鹤也。
并警告之谦：
察见渊鱼不祥，不如忘之。
二人循原路返回茅舍，老人已在拱手等候，之谦求处世之道，老人说：
不鄙非仁，无仁斯辱，不媚非智，无智斯卑。
之谦无法理解话中含意。但见茅舍之侧，乱堆着一些书籍，心想也许可以从中找到秘笈；先是翻不开，翻开后只见一片空白——原来是无字天书。正大惑不解，老者说：
三十年旧约忘之耶？天下事待君仅有此耳！君家元叔有言：“且各守尔分，力所穷时，巨将不胜，轻则易举。”
之谦表示，无奈身患重病，如何践约？老者指示：
东壁下有丹篆二十四，记之当瘳，人诵一过，能洞见鬼物。
之谦一看丹篆二十四字箴言：
奇已鸧大复豖翳纤儿作是子鸟所踯弓则弛伎止斯吾怜尔刚刚读毕，但听大呼一声：“知否！”顿时从梦中惊醒。
之谦剔亮灯心，濡毫把适才之梦，完完整整地记了下来。回想梦里情境，玄奥之中，似乎又透着些事理。
大道迂远，走捷径的结果却导入枯井般的暗途。
神秘的“地镜”，可以照见他人的面貌，却照不见自己的本相。
地镜中的鸡、鸭、螳、蜣、螇之类，却是天上翔舞的膺箓白鹤的投影，而鹤并不自知。
“察见渊鱼不祥”，“不鄙非仁，无仁斯辱，不媚非智，无智斯卑”，这些玄奥语句既发人深思，又不能尽解。
“三十年旧约忘之耶？天下事待君仅有此耳！”这岂不是相约搜书及刊书的亡友孙古徐的口吻？他不禁联想到那些杂乱堆叠着的无字之书。
君家元叔有言：“且各守尔分，力所穷时，巨将不胜，轻则易举。”
同治十一年，之谦曾楷书赵元叔《非草书篇》四屏，到江西后，贻赠缪梓之子缪芷汀，之谦在书后识：
家元叔《非草书篇》，同治壬申录于京师，芷汀都转运索观旧作，即以呈政。之谦元叔是位重视实学实用的人，反对专注于草书：
试四科不以此求，备征聘不问此意，考绩不课此字；徒善字既不达于政，而拙草无损于治也。推斯言之，岂不细哉！
元叔甚至把文人雅士珍爱的草书，看做玩物丧志：
夫务内者必阙外，志小者必忽大，俯而扪虱者不暇见天；天地至大而不见者，方锐精于虮虱，故不暇也。
由此以观，梦中老者所引元叔的一段话，对穷途落魄，失意于宦海的之谦而言，可算是至理名言。
五年初秋，鄱阳交卸已成定局，心灰意冷的之谦曾去信给友人：
近因愤郁，且恐老病，诸事不成，将有《悔读书斋丛书》之刻，已发一种，写样矣，异时寄与并告知。七月初八日
信中所刊的丛书首部，为新化邹汉勋的《艺斋遗书》。
梦鹤之后，之谦自知此生唯一不假外求，可能完成的愿望大概就是刊书；他在丛书总序中誓言：
爰发愤陈箧，取旧时所得卷帙至简者，编为丛书，间附鄙著，冀匿瑕秽，写付墨板决自今始。宽之时日，依次付刊，当岁有成书。赢缩作辍，准资有无，毕愿何期，与年俱尽。
此外，他把原定的《悔读书斋丛书》，更名为《仰视千七百二十九鹤斋丛书》。“仰视”，带有冷眼旁观的意味；看那些意气风发的翔鹤，何时露出投射在地镜中的本相。
之谦所刻丛书，辑入自作两种《勇卢闲诘》和《张忠烈公年谱》。
考据鼻烟的《勇卢闲诘》，前有同治七年七月完稿时，始倡议撰写此书的祁之的序，说明之谦此著的动机与写作过程。其次是《江西通志》编辑之一绩溪举人程秉铦的序，诠释《勇卢闲诘》的义含，他说：
闲诘云者，淮南之佚，单文廑存，散见他籍，鼻烟遗事，罕著篇册，太史公所谓，书缺有闲，闲则诘之，儒者之责。
又释“勇卢”：
勇卢者何？龙鱼河图云：“鼻神”之号，呼之九过，恶鬼自却者也。
书后之谦附识的简单数语，使人为之叹息：
吾友董觉轩悯其无成，屡劝写定；检点旧囊，此颇完具，遂付手民。惜季闻（祁之）已归道山，不及见矣。光绪六年五月，叔识《后序》，由好友董觉轩（孟如）执笔，并就所记有关鼻烟掌故，附入其中，增加趣味。时为光绪六年六月，也正是《江西通志》缮正付雕的时候。
《张忠烈公年谱》，是最足以反映潜藏之谦心中的民族意识的著作。
清代文字狱，是汉民族挥之不去的梦魇。远自乾隆中叶，便收缴禁书，之谦在《张忠烈公年谱》前言中写：
遗黎私记，穷里复壁，罔敢伏匿，抽毁既定，残百一，今亦半归灭没。
因此，非仅富民族意识的禁书，不敢私藏，有关言论，自然亦噤若寒蝉。
表彰南明烈士张煌言（即张忠烈公）和张肯堂，是在他少年时期，听叔祖及乡老讲述他们从容就义的故事后，就萌生的意愿（见本书第一章）。
之谦到南昌后，正值董觉轩修《鄞志》（《宁波志》），董氏所据《张忠烈公年谱》出乾隆年间庶吉士全祖望所辑书内。全氏不但是宁波著名学者，而张煌言女儿，为祖望诸母，祖望自幼聆听张氏讲南明史事，故祖望有关著作，审慎而确切。
觉轩和之谦均认为年谱中，误谬百出，恐非全氏所辑，定为他人托名之作。之谦虽然早年所搜《奇零草》、《北征录》、《冰槎集》等张煌言著作，散失殆尽，但他仍就可能找到的资料和记忆所及，完成年谱。他在前言中表示：
忠烈之自序《奇零草》也，曰，思借声诗以代年谱；窃仰斯旨，闻疑载疑，愿有述焉。证诸本集，期可征信，旁及异闻，有资考索。仍其是者，去其诬罔，别为年谱一通，以竟全先生之志，慰忠烈于九京也。
谥忠穆公的张肯堂，一门殉南明事迹更为惨烈。仅其十六七岁的裔孙张茂滋，奉遗命逃出以保宗祧，其逃亡经过，实乃人间炼狱。《余生录》，即张茂滋记述南明乱局，目击一门殉国的经过，以及所到之处对他冒死相救的仁人义士。
之谦幼年，读双韭先生文章，知道有《余生录》这本书，却始终没有见过。也是到江西后，才由董觉轩口中得知《余生录》尚在人间，并写信给宁波友人，代之谦抄录一册付刻，不能不说是一种因缘。
光绪六年下半年，之谦病仍时好时坏，但编书、刻版及通志雕版印刷工作，也迄未间断。
巡抚李文敏奏呈朝廷的《江西通志》缮正本共一百八十五卷，分十八门，于六年九月初一，由军机大臣奉旨，简单批了个：
知道了，书留览。钦此
这就是赵之谦和许许多多志局同仁忙碌八年的结果。之谦估计，到这年年终，可以刻到三百万言，大约七年六月可以刻完。这既是一项浩大的工程，也是一个漫长的等待。在等待中，有些志局的协辑、分修、分校、复校、司局同仁，纷纷外放到江西府、县接篆，然而之谦却独得上司“青睐”，命他仍到志局完成未了的工作，并加了项评文的工作，非到明年三月，无法交卸。
这意味着他全家大小、佣仆、轿夫，又要靠他三十金月薪，及举债度日。
之谦原以为可以轮委到他的县份，已经开缺给了别人。更有门路的人，可以连任数任知县，到处留下亏空和烂摊子，而他原想再做一年，不论盈亏都自行引退，远离官场的计划，也顿时落了空。
推其原因，是长官相待优厚，但下面却小人用事，需要攀附、贿赂，才分得到优缺；之谦鄱阳卸任前给王莲生信中就说：
又其用事者，风火卦所谓小鬼难当。
之谦在江西写给友人信中，说过上官对他仁厚，但也不止一次说“小鬼难当”，也就是说刁难、索贿，多出于幕客之手。
以光绪四五年间江西巡抚刘秉璋而言，刘氏大约于光绪六年前迁为浙抚，光绪十一二年继丁宝桢之后，迁为四川总督，治川长达九年。
《近代名人小传》作者沃丘仲子，并未谈到刘氏于江西、浙江抚署所为，却详论他在四川的治绩和部曲的跋扈：
秉璋继丁宝桢督四川，一反所为，纳门包，勒供应，甚至卖鬻差缺。治蜀亦九年，兵骄盗肆，吏玩官偷，蜀之君子，至今言之有余恨。
又谈到刘秉璋的心腹：
其鬻官为司线索者，则署提督钱玉兴，秉璋撕养卒也，时称为“玉兴钱店”。营务处道员徐椿荣，以粗士受知者也，以字为杏林，时称为“杏林药店”。芙蓉书院院长叶某，原籍桐城，皖同乡也，以字变生，时称为“变生书店”。凡官吏通此三店，皆居腴缺。
刘氏在川政绩如此，在江西时如何，也就不难想象。
之谦金兰友礼严，在《五余读书廛随笔》就指出一位于江西抚署中，历经刘坤一、刘秉璋和李文敏三任巡抚，在幕十余年之久的长命“小鬼”：
惟抚署幕友高君杏村（隆），亦吾越人，历在节署十余年，亲戚故旧互相援系。李中丞（李文敏），性情长厚，权偏重于幕友。叔非特不屑攀附，且不直其所为，势成冰炭。然高以叔名重，且系同乡，实亦未敢开罪也。
之谦无论科举、事业，某些同乡的阴影，似乎永远笼罩在他的四周。高杏村的魔咒何时才告解除？礼严写：
迨李中丞被劾，高亦见逐，潘伟如中丞莅位，因素闻潘文勤（按，指潘祖荫）称赏，遂列叔于荐剡，委署南城。
不过，这已经是光绪九年冬天的事；之谦生命，也进入了末季。
光绪六年四月，之谦梦鹤前，与张鸣珂讨论《凡将篇》，那时之谦病情、心境都比较好，主动为鸣珂书摺扇一把，写得满满两面，有一千三百八十余字，剩下题款位置太窄，所以只盖了方同治九年刻的“叔四十岁后作”小印。然后长叹一声说：
已长十年矣！
这是到江西后，首次为鸣珂书扇。
其后，又为鸣珂作扇、书额三件，但均无年款。
《梅花芜青》纨扇，数枝斜垂的梅花，一个带叶的红萝卜，寓有福寿双全的意思；款题：
戏用冬心画意成二种，为公之束仁兄同年，以沰墨点华，盖取黄鹤山樵法也。叔记楷书临高湛墓志，纨扇上画界格，楷书五十四字，后以行书落款：
公之束仁兄同年属书，节临高子澄志，信笔涂抹，少存古意而已。之谦张鸣珂斋名“寒松阁”，晚年所著谈艺录，即以《寒松阁谈艺琐录》为名，是近代记录艺术家及艺林掌故的名著。之谦为他隶书“寒松阁”横额，使书斋生色，与张氏谈艺录，两相辉映，也足见赵、张二人交谊之深厚。
光绪六年九、十月之交，张鸣珂也以盐提举衔，轮委为南昌府奉新县知县，之谦一方面依依不舍，一方面尽力为他张罗赴任所要准备的一切；他在信中嘱咐：
轿子必须新做，切勿太省，以为地方指点。
弟处签押房方衣橱有一口；此必不可省之物。
抬箱存局者转可不买；外县无须此也。
帐幔弟处可分，铺垫等件尚有价，打折可耳。
……