独生女桂官出嫁后，赵之谦心中的另一件大事，是为继子寿佺娶妇。旧友余鼐卿，杭州人，住在江西。鼐卿的长子，依之谦看法，文理尚优，眉目清秀，就整体而论，“品貌平庸”。几年前，余鼐卿想娶桂官做儿媳妇，曾托友人黄念勤为媒，言明一切联姻礼节，全照比较简朴的杭州礼俗；这是之谦最感满意的一点。因友而成亲家，他认为也是天假之缘。怎料请舒梅圃转信请示族老太爷，却未获首肯，其后遂将桂官许配外甥沈子余。
到江西后，却由十三太爷王仙舫冰伐，将余鼐卿的十九岁三女，许配寿佺，依旧是“因友而戚”，只是男女双方互调，之谦自然觉得称心。
同治十二年八月初四传红，父兼母职的赵之谦，在女仆和管家协助下，依然亲自照管一切。
行聘，账簿上只写“三月廿二日”，未写哪一年；但据之谦眉批上写“然在此已三四年”，推测应是光绪元年的事；“迎娶”账上，年月一概省略，因此无法确知迎娶的时间。
不过，在行聘之前，之谦逐渐对这门亲戚感到不快。
为了尊重亲家余鼐卿，他事先请媒人把书帖式样转给余家过目，但眼见日子已到，余家却音讯皆无，他只好写信请媒人催促。信中他以不耐的语气写：
此等事，本由男家作主，所以必奉商者乃事事谦让之意，若置之不论，转逼得谦让者要发老脾气矣……
桂官和子余联姻，最使之谦不悦的是亲家沈星堂毫无主张，一切任由“牝鸡司晨”，种种不合良俗古法的主意，任由亲家母决定。
这次也是一样，亲家太太事事干预，需索无度，使之谦忍无可忍；仅“门敬”一项就索银二十两，聘礼事事挑剔。
尤令之谦气结的是，两家均为浙江人，但亲家太太却坚持要按照江西铺张浪费的风俗行事。这使赵之谦把满腔怒火，淋漓尽致地全表现在“账簿文学”上；开创任何文集绝无仅有的一格。
在眉批中，他首先指出：
需索门包，似非正轨，此次姑允其请，以省妇口；将来如遇此等事来，必须格外克减，断不能依……
账面上，更是写得洋洋洒洒：
因李景堂传述，余亲家太太来谕，必须照江西排场；其实两家并无一江西产也。绍兴行聘名目行当虽繁，然尚存古人婚仪法式；今照江西派一切删却，而加上无当之物许多，不知何义也。嗣后子孙行聘，当以此为鉴为戒，不当以此为法，使人笑我为不知聘仪也。
广东顺德李文田学士，学问渊博，擅北魏书，史学修养极深。同治十一年到江西督学，时间较之谦到南昌为早。乾隆年间扬州马氏玲珑馆珍藏“汉西岳华山庙碑”精拓本，是他此行一大收获。
此碑立于汉桓帝延熹八年，明嘉靖年间地震，这座树立在西华阴县西岳庙中的石碑已经震毁，因此流传于世的拓本已成稀珍。论者以为，碑文书法遒美，分书而具有圆转之势，为汉碑之冠。在传世的拓本“长坦本”、“华阴本”、“四明本”及“马氏玲珑馆本”中，以此本纸、墨和拓工最精；可惜缺少了九十六字。文田久知之谦汉碑与魏书造诣，且曾双钩此碑，于是请之谦以双钩填补缺字。之谦在所补字前题：
仲约学士得伍氏本华山庙碑阙九十六字者，实海内第四本也。惜“长坦”、“华阴”二本近在浙中而不得借，因摹旧双勾本补之；俟异日更勾真本。赵之谦十二年十月，拓本重装完成，之谦又为华山庙碑题耑。
之谦到江西后，公、私繁忙，心境也和从前不同，诗书画篆刻的创作，几乎全停。
同治十二年所作，可见者，仅六月间为友人琅圃楷书《王右军祠堂碑》四屏。
之谦江西通志局同事，浙江嘉兴张鸣珂（公束）在《寒松阁谈艺琐录》中记之谦：
于诗古文辞书画篆刻无所不能；性兀傲，有心所不慊之人，虽雅意相乞，终不能得其片楮也……
论及篆刻成就，张鸣珂惋惜地说：
然至江西后誓不奏刀，予谁昕夕晤对，亦不便相强也。
但，也有少数例外，鸣珂在另章中续记：
叔至江南后，画已不多作，予仅见王小初太守有屏八幅，任筱沅中丞有屏四条，及贻予书画纨扇一握而已。
综观之谦在江西前后十余年所作，固然不止此数，但和以前在温州、北京、杭州各期所作，显然无法相提并论。
鸣珂所说，之谦对不慊之辈，求乞书画篆刻不肯作；同仁好友见到这种情形，也不便勉强他作；这些只是他搁笔封刀的原因之一。归纳他给友人信中，隐约可见他的苦衷。
全心投入《江西通志》校稿、考据、亲自撰写某些篇章及编辑，已经使他忙碌不堪，实已无暇创作。
无论在南昌赁屋或后来任知县官舍，居室都颇狭窄，画案、纸张铺排不开，往往使他兴味索然，加以多病，更懒于挥洒。
当他债台高筑，筹措无门的时候，有些人但知强索书画，却不见润笔之资。事实上，他给舒梅圃信中，就表示怀念在北京、杭州靠笔墨维生的岁月。
除至交或礼遇他的上官大吏，他对那些视书画为玩物，强索硬讨的人，也另有应付的高招。以兄事之谦的礼严在《五余读书廛随笔》中写：
余虽未曾入局（按，指通志局），而得闻绪论颇多。叔所刻《仰视千七百二十九鹤斋丛书》及他书皆以见赠，惟为人作书画明嘲暗讽；往往谑而近虐，故余未敢乞其书画。
明嘲暗讽的玩世不恭态度，固然为他省去不少烦扰，使欲索书画者知难而退，但也因此得罪不少人，成为他事业上的阻力。
《五余读书廛随笔》作者礼严，是之谦在南昌所结交的一位好友。礼严母亲朱氏，有姊妹嫁给赵氏，细论起来，和之谦有中表姻谊。
之谦和礼严亡兄祖香有同年之谊，他对祖香遗作《孟晋斋文集》十分欣赏，恨未能结识其人。及礼严分发江西，知为《孟晋斋文集》作者之弟，遂大表对祖香的仰慕和惋惜，礼严也因这份情谊，把之谦当长兄般尊敬。校刊礼严先祖文集时，之谦多所订正，使二人感情更加密切。
之谦仙逝后三十余年，礼严见杭州人唐咏裳所藏之谦对联一副：
上相大猷，论语半部；司空家法，篱落一声。
联旁自注：
幼误读书，遂困场屋，老厕俗吏，骨节不媚，纳此楹语，永志吾悔；岂能易性，聊以解嘲。光绪八年二月，叔记礼严读到此联，不仅进一步了解之谦斋名“悔读斋”的真正意含，以及“篱落一声”引的是南宋宗室赵师（从善、东墙）诌事韩侂胄的故事。
“上相大猷，论语半部”，典出《宋史·赵普传》，赵普对宋太宗赵光义大言：
臣有《论语》一部，以半部佐太祖定天下，以半部佐陛下致太平。
“半部论语治天下”成语，由此而来。之谦的“幼误读书，遂困场屋，老厕俗吏”，自然悔之无及。
讲到骨节柔媚，无过于同宗的赵师。
南宋宁宗时，以太师平章军国事，加封平原郡王的韩侂胄，气焰不可一世，一时群小阿附。
一日，韩侂胄到南园饮燕，经过山庄时对擅画花卉的工部侍郎赵师说：
此真田舍间气象，但少鸡鸣犬吠耳。
过了不久，篱边竹树间，传出几声犬吠，顿时增加了那种田舍的气象。吠声甫落，却见赵师从中走出，韩侂胄恍然大悟，纵声而笑。
其后师累官工部尚书，做临安知府。工部尚书古称“司空”，故之谦联书“司空家法，篱落一声”；他联中自注“骨节不媚”，本性难移，看来虽有司空家法，此生却不免继续潦倒下去。
礼严于书中记下在江西与之谦相处的往事，并赋《满江红》一阕，纪念这段不凡的友情：
秋水长天，联宦辙，礼严兄事，刊先集，订补阙，频番问字。考古偶虚金石略（《江西通志》独缺金石略），算未算征商制（因厘金非常制，不入经政略），抚遗编体例擅三长，江西志。千百鹤，昂头视。茶熟否？峨眉寺（叔尝梦至峨眉山，恍惚似故居，从者曰烹茶尚未熟也，遂复觉）。借题楹自讽，不恭玩世。赵壹愤时留墨，唐衢感旧吟新制。忆前尘回首卅余年，如川逝。
礼严所记之谦往事，虽仅数页，但却足以补之谦在江西多年生命史的缺漏。
赵之谦为寿佺和余鼐卿之女联姻传红的次年春，娶休宁陈氏为侧室。
之谦三十四岁那年，妻子范敬玉病殁于绍兴，闻耗之后，悲伤欲绝。念夫妻情笃，离家时又未能与妻女偕行，使他内疚不已，曾誓言终身不续正配。
如今独女已嫁，继子也已文订终身，独居长达十二年，已是老病缠身。他在给友人杨杏帆信中写：
弟近已娶妾，家累起矣！此事则曲从中峰之谕，非此老叮嘱再三，断不为也。
又说：
纳妾要钱用，中峰一再表示借钱给我；然岂有属员向上司借钱之理？彼一番好意，自当感激。
“中峰”、“上司”，指的可能是识拔他为《江西通志》总纂的刘坤一巡抚。
陈氏，年仅二十，小之谦二十六岁，结婚那年冬天，为他产下一子，取名寿伣。之谦与敬玉婚后，生子皆夭，咸丰末年，次、三二女又殁。年近五旬得子，自然喜不自胜。
女字、男婚、娶妾、生子，到南昌后的之谦，可谓喜事连连，但致杏帆信中的“家累起矣”，显示出生活担子无比沉重。因此，他无论给杭州的梅圃或杏帆信中，不是悔恨为宦，便为前景茫茫，生活逼人的感叹：
弟半百将衰，一差未获，到赣一载，笔墨久荒，听鼓辕门，形同犬马，昼夜思之，悔已迟矣。宦情纸薄，今日始知。
吾哥在典店多年，囊中能得盈实，光景甚佳。此间宦海茫茫，毫无趣味。儿女长大，未了向平，不堪为故人告也。
——致舒梅圃
信中“未了向平”，用东汉隐士向长向子平的典故。白居易诗：“最喜两家婚嫁毕，一时收得向平身。”向子平于男婚女嫁，心愿已了之后，才放心与北海禽庆遨游五岳名山。
这封信，自然写于男婚女嫁尚未毕事之际。
给杨杏帆信中写：
弟志书小事，数口难敷，两载于斯，不得更一优缺。怅遭逢之不偶，叹宦海之茫茫，昼夜思维自怜，亦可自笑耳。
之谦于同治十一年岁暮到达南昌，往往信中所称到此“一载”、“两载”，可能指整整一、二年，也可能连十一年尾一并算上，难作时间上的正确评估。
光绪二年春，之谦四十八岁，不断为乡愁和生活压力所苦的他，在江西通志局的工作，也并不顺利，谤言四起，致愤而辞总纂之职。结果，由通志局提调候补道台董蓉初（名似穀）好言劝慰，之谦才打消了辞职的念头。
事实上，因人事纷扰，编辑的体例主张不一，从他十二年春进入通志局，就一直争论不断。
旧修《江西通志》到雍正十一年为止，中断已有一百四十五年之久。
道光年间一度重修，据说稿本已经写就，但，人事纷争，加上战乱，稿本已遭焚毁。同治九年，刘坤一巡抚江西，奏请开局重修。局址设于南昌名胜东湖南面的百花洲上。总纂是原任翰林院修撰刘绎。在功名上，刘绎为全江西之冠，不过历史方面，并非刘绎所长，加上旧有通志也有很多缺失和遗漏，以至于数年无成。
之谦进入通志局后，把旧志、新修部分及各种档案资料作了全盘检视之后，提出许多改进意见；不仅具体，且举江西前贤谢蕴山巡抚所修《广西通志》为例，使固执己见的刘绎无言以对，加上不少江西绅士、权贵一向重视之谦，只好将总纂之位，拱手让给之谦。
之谦接编之后，改正旧志缺漏和失误，将刘氏所修新志中的《沿革》、《职官》、《经政》各篇，重加考订，其余新志中可取的部分，则依原稿编入，不加增减，以示尊重编撰者。
总纂之外，志局提调官，也由原候补道台王霞轩，改为候补道台董蓉初。另一项变动，在刘坤一主张下，志局地址，从百花洲移往东湖北面的曾文正公祠。
经之谦主持所修通志，文字简略，内容充实，考据精详，文辞典雅，但原有刘绎一派，却明争暗斗，导致众谤群疑。
最使之谦愤愤不平无所适从的，是他在和董蓉初诗注所说：
其说迄不举误者何条？谬者何事？殊欲任咎而不得也。
使之谦感到安慰的是，刘坤一、董蓉初对他的信任、支持，以及协辑张鸣珂、程秉铦、王麟书、董沛等人的通力合作。
光绪三年秋，之谦幼子寿偘出生前后，友人大兴傅栻所辑《二金蝶堂印谱》四册已经完成。对生活在繁忙苦闷中的之谦而言，也算是“双喜临门”。
前有魏锡曾、钱式和朱志复为他拓印和编辑印谱，傅栻以自藏之谦篆刻，并访借同人所藏拓辑而成。
他在序中，论述之谦篆刻：
所作小印，疏密巧拙，丰杀屈伸，各善用其长，纵横如意。间虽有失，失而不害，反复观之，无一笔一字不可人意。
娴熟史书条例、格式和节目的董蓉初候补道，职务升迁。三年相处，对之谦助益良多，依依惜别，董氏赋诗留别，之谦和韵四首：
穷鸟低飞未得还，江湖空阔宦情闲，少曾辍学思经事，岂有文才与古班。下吏趋承怜我拙，史官掌故赖公娴，百华洲上修书地，窃步元卿任后艰。
——四首之一
当候补道台董蓉初调升时，《江西通志》编辑工作已近尾声，约光绪三年冬或四年春，之谦终于脱离苦海，交卸了通志局的工作。
志局的交代，也有些令人不快的地方。例如之谦所借各种家具，清清楚楚，有账可查，一丝不少；而同仁十八公盗卖者，则一笔勾销，其余银钱、书籍，十八公也交代不清，有些只好由之谦弥补，无法向十八公追究。
一般有关之谦生平、年表，多载光绪四年夏，权鄱阳县令。实则光绪四年初，他最先奉委代摄的可能是南昌府靖安县令。
靖安，南昌西北潦水畔的小县，东邻安义县，南邻他后来瓜代的奉新县。
他在信中，告诉舒梅圃：
弟交卸志书，已于月之十八日抵任。此间离安义一站之隔，驿使往来不过一半日而已。因安义系吴理卿实缺，吴君与朱锡三表弟系妹倩妻舅，尚有亲亲之谊，彼此皆要好也。渠署所请之钱穀陶甄甫，与弟亦系姻亲。[11]
县近省城南昌，往来洽公方便。安义县令、钱穀师爷，论起来均有姻亲关系，便于相互照应，使初次奉委知县的之谦，感到一帆风顺。
但是，差事有了，不少乡友、族人，纷纷前来求差，或请他推荐差事。游手好闲，惯于挑拨是非的七族弟，就是他最头痛的人物。同治十二三年间，朱锡三表弟受委秀水厘局，是令人羡慕的美差，之谦曾将七族弟荐给朱表弟为司事，连月薪带津贴，有白银九两之谱。现在此人又投奔他的县署，无论差遣或管教，之谦都感碍手碍脚，更怕把已有妻室的寿佺教坏。
县署不比志局，师爷、捕快、常随、轿夫、司事，加上男女仆妇，人多口杂。之谦不得不贴出谕单，门房或仆从有敢争吵打闹者，不分原、被告，一律加以驱逐。所愁的就是来投靠的族人和乡友，如果不听约束，处理起来，格外为难。
另一使他为难的，是子婿沈子余来信给黄念勤，表示想放弃科举，做个幕友。
之谦早年入幕，随缪梓研讨各种实际学问，转战各地。咸丰九年乡试得中，重归科举途径。春闱屡试屡挫之后，他不得不归之于时运，舍科举而入赀捐官。六七年间官场百态，使他无日不思念家乡，甚至想重归科举旧路。因之听到子余要弃儒改行为幕，心中大为焦急；赶紧去信给亲翁沈星堂，劝阻子馀：
盖幕中不能上进，亦不得有功名；况笔下初通一经，分心则前功尽弃，举业荒矣。弟巧言不如直道，仍劝令郎少安勿躁。古人有言，人生惟有读书好，勿讶余之老生常谈，以为何如？
他也把自己处境的艰难，前途未卜的惆怅，向沈星堂倾诉一番：
弟官卑类犬，才拙如鸠，自志书局交卸，调署靖安，而瓜期已届，缺简清苦，囊无余，然旧债恐不能尽偿。恐回省仍归候补也。
发信日期为光绪四年二月初十，短暂的代理知县，连以前所欠债务都无法清偿，回南昌重新候委更不知要投闲置散多少时日，之谦满腹的惆怅与茫然，在信中流露无遗。
所谓旧债，包括前几年为了加捐同知衔、子女婚姻及自己纳妾的花费，接济族人和婚后生活艰苦的女儿也所费不赀。这些银两，多由舒梅圃代向西垞、抑士两位友人周转而来，利息八厘。
西垞不念以前同为缪梓幕友之情，不时来信，追讨甚急。万不得已，之谦只好请梅圃代向开笔庄的邵芝岩以八厘息借贷，偿还西垞，等于是以债养债。
让之谦放心不下的是，当梅圃为他贷款代偿西垞一竿之数，却迟迟不见西垞退还借据。唯恐将来产生纠纷，之谦只好在信中，请梅圃就近查明：
西垞之款前已归过一竿，其借据有两纸，理应还我一纸，何以至今未见寄赣，心甚悬悬盼望。
光绪四年二月中下旬，因瓜期已届，由靖安回南昌候补的之谦，忽传佳音，受委权代鄱阳县令；之谦一则以喜，一则以忧。
鄱阳县，地滨鄱江，以位于鄱阳湖“北”而得名，实际却在鄱阳湖东，稍微偏北一些，为饶州府治所在，也就是饶州府的“首县”。居民好讼成性，所以讼师、讼棍横行。
咸丰中叶，太平军转战江西各地，与曾国藩、彭玉麟等，展开激战。咸丰六年六月初，太平军北王韦昌辉与黄文金部攻占饶州，沈姓、李姓先后两任鄱阳令，守土而死。在军事上，鄱阳是处险要的地方，又多水盗。之谦受命之初，便写信给足智多谋通达事理的舒梅圃，倘然他愿到署一叙，帮忙策划，他会派专人到杭州迎接到尚未履新的鄱阳县；以求未雨绸缪，化解赴任后的潜在危机。