位于江西省北部的鄱阳湖，形状像只巨大的葫芦，南半部大，北半部较窄，在北方湖口石钟山一带，流入长江。
江西境内重要河流，如赣江、信江、鄱江、修水等，都流进鄱阳湖，春夏之交，雨水充沛，山洪暴发，湖面顿然宽阔起来。沿湖州县很多，南昌、进贤、鄱阳……都在其数。
明朝正德年间，江西宁王宸濠谋反，起兵南昌，艨艟战舰，由鄱阳湖北上，准备出湖口沿长江东进，一举攻占南京。不意王守仁（阳明），趁其不备，攻占南昌，使宸濠不得不回师抢救根据地——南昌。鄱阳湖一战，王守仁火攻奏效，擒宁王于南昌不远新建县的樵舍镇。这使鄱阳湖声名大噪。王守仁为浙江馀姚人，至今旅居江西的浙江同乡，仍然感到荣耀。
远自康熙年间，便有宦游江西的浙江同乡，在南昌捐建王文成公祠。此后，乾隆、同治年间，均有乡友增修房舍，整建祠宇。而择址重建之议，也始终未断。将来新祠修成后的祭文，大家都认为非之谦莫属。
孰知鄱阳湖水新涨之际，赵之谦却乘风破浪而去，接掌素称难治的鄱阳县。
为王阳明建新祠事，虽然暂时放下，他却又兴起为古人刻书的宿愿。
首次刻书受挫是二十一岁那年，他和好友孙古徐相约搜书以备刻印，不幸，五年后随孙古徐之死，使计划中辍。
第二次刻书受挫，是咸丰十一年绍兴失守，无论之谦早年著作或珍藏古书，乃至平时可借用的友人藏书，尽付战火。
同治十年，同僚好友王晋玉补官上虞县，使他重又燃起希望，无奈一年之隔，正该王晋玉如约年寄百金为刻书之资时，王晋玉却忽然因故罢官，使之谦再度大失所望。
二月中，往鄱阳赴任前，他告诉南昌诸友，表示在官不宜写书，古有明训；但刻书不妨：
归时傥得俸钱，当为前人刻数十卷书；不能望诸人，今反求己。
大约二月十六日左右，之谦与家眷、仆从及随员一行，到达鄱阳，开始了解县署和辖区的环境，考察各种风土人情。
府城外的鄱江汩汩而流，既便利航运，更使两岸农田，丰腴肥沃。
鄱江水源，出自安徽婺源县者，为婺江；出自安徽祁门县者，为共水；两条江水均流向西南，到鄱阳县合流成鄱江，再流入烟波浩淼的鄱阳湖。
鄱县无城，衙门破烂，连像样的牢房也付之阙如，倘有要犯，无法羁押；大概就得像传说中的古昔盛世——“画地为牢”了。
知府雷风，遇事推诿，偏袒宠绅，做事很不明快。
惟民间风气朴素，看来不难治理。
对携家带眷的之谦而言，由于没有衙署，住处就成了难题，只好僦住正面三层，旁边两层的已故巡抚胡果泉旧宅，好处是房间数不少。
之谦于三月一日接印视事，三月中前后接到梅圃回信，推测可能表示前来鄱署，碍难成行；好在实际巡视过鄱阳环境及风俗民情的之谦，对治下已经改观，因此信中未再勉强梅圃前来：
弟自愧樗庸，谬膺民社，已于月之朔日接印视事。此间民气近朴，如吾浙之开化、淳安无异。恰弟才疏，得此简缺，非敢曰为民父母，惟有矢慎矢勤，籍作鸠藏而已。
发信日期，为光绪四年三月十九日。
可能发信当晚，鄱江上游山洪暴发，江水骤涨，湖水倒灌，一片安居乐土，转眼变成泽国。上任仅十九天，席未暇暖的之谦，立刻勘灾，奔走赈济。
最令他不胜其烦的是，有些灾区民众，串通花户冒滥报荒，藉机敛财。报灾状子不断涌入，有些住在高山顶上的居民，也谎报水灾。
幸好之谦到任之后，即行查造山乡、水乡户册，水退之后，再亲往勘验，才不致遭受蒙骗。
距水灾两年后，之谦在他所刊《仰视千七百二十九鹤斋丛书》总序中，描写当时情况：
甫抵官旬有九日，大水坏民田，巨浸稽天。历四阅月，灾潦之区，催科弥拙，爨薪鲑菜，闲致称贷，以毕朝昏。
“闲致称贷，以毕朝昏”，不仅意味着之谦一家生活的困境，也表示他为古人刊书的愿望，又一次重挫。
苦难的一年，好不容易挨了过去。志局工作，却未完全结束。光绪四年，巡抚刘秉璋，以缮本进呈，朝廷核准。新任巡抚李文敏，继续督饬局中人员进一步考定异同，辨正疑误，准备开雕。有些疑难问题，之谦要在信中答复指示。
名传遐迩的鄱阳讼棍，动辄缠讼不休的讼案，占去了他奔走救灾和遥理志局工作外的余暇。他在信中告诉前往四川省视调署成都老父的王莲生：
足下方刻书成，而弟在此八年（按指到江西），竟不能一日摊书坐案头。鄱又敝俗，一年余，自朝至暮，与讼棍奸民相对，中夜以兴，不敢安枕，幸而无事。
到了瓜期将满的光绪五年春天，他认为救灾工作已经告一段落，希望能解除权代鄱阳令的职务，巡抚（刘坤一已调升两江总督，此际若非继任的刘秉璋，便是再后一任的李文敏）不准，并札委他办理“阅兵”和童生的“院考”。两件差使办完，非但没有剩钱，反而雪上加霜地亏空了三千金之巨。
所幸到了秋天，鄱阳年谷丰登，等到冬漕税捐开征，他可能落得不盈不亏，等于白忙一场。略感安慰的，偏室陈氏所生儿子，大者六岁，小者三岁，自己虽然无暇读书，幼子的书声，使他感到琅琅动听。寿佺婚后，也生了一女，年逾知命的他，已是三世同堂。
他对王莲生所述种种官场风波，及在鄱阳所遭的甘苦，在给多时未通讯息的梅圃信中，却颇有报喜不报忧的意味：
弟自抵鄱阳，寸晷不暇，以致旧友亲戚少通书信，非疏懒也，尚祈原谅是幸。
此间民气甚朴，容易治理，虽湖面甚阔，而盗案不多，文风不亚庐陵，且绅士亦极廉正，不干词讼。惜瓜期将届，而旧欠可望归清；即囊无馀，自得至乐。
这封信，倒很像平安家书，意在使家人放心，但萦绕在他脑中的，却是一团混乱。
缠讼不休的奸民，在著名的讼棍助长下，一再上控，像团乱丝似的，理不清，斩不断。遇有狡犯，他只好用刑树威。从后来之谦在给友人信中的一段回忆，可以见出他处理这些奸民、狡犯、猾吏的操切；信为光绪七年左右，自奉新所发：
在鄱阳，责人万板亦不介意，今则数板即须察看矣。虽不能学以德化民，究竟少宽仁则不如无所戒。幸其地非悍梗者，故亦可也。
新来一个妖僧，不饮不食，言语疯癫却又不无道理。因其形迹诡秘，唯恐为害地方，之谦已派人密拿，情况如何，尚未回禀。
饶州府署后面，就有一个斋匪经堂，之谦唯恐穷治拖累，只好命人毁堂，责令开斋，仅把为首的瞎子收押。
最让之谦寝食难安的，是在饶州府属安仁县滋事的首犯邹兴安。此人手下党羽不下数千人，知府雷风不敢管押。由于是要犯，案情复杂牵连甚广，雷风也不加审讯，时时下乡去拜菩萨，把嫌犯羁押在没有牢房的鄱阳“大牢”中。雷知府心意，巴不得嫌犯逃脱，自己省了麻烦，但可以把嫌犯越狱罪名，推给鄱阳令赵之谦；之谦就休想从鄱阳任上全身而退。
在捕获嫌犯邹兴安时，邹双腿已被打断，自然不虞自行越狱，倘若大伙聚众前来劫牢反狱，后果之严重，远非之谦所能想象。
在各种杂乱无绪的案件中，之谦有一个不变的原则：就各种证据，详加推敲，一再审讯，必能找出为首兴讼者和兴讼的动机，使其奸计无法得逞，让受煽动利用的人，了解真象。其次是，他以案为断，不以人为断；他说：
案情确是，坏人亦是之，案情确非，好人亦非之。宁断案毕，而后加坏人以申饬，以劝戒。
也就是凭证据断案，使人心服口服，从此息事；宁可事后对好人温言劝戒，对坏人严加申饬，使他有理也不得继续为恶。
他所断悬案中，最得意的无过于赵姓的争宗案。
为了宗族的荣耀，不同的赵姓族人各出谱牒为据，自称为宋代某宗室之后。
延续百余年的缠讼，前后数十任的县令不能断决。之谦考据宋史宗室世系表，南宋绍兴宝祐进士登科录，定出各族的宗派，以及谱牒所载进士的真伪，洋洋千余言的判决书，使讼者无不惊服，并愿从此永不争论。
时序入冬，之谦好不容易等到卸下鄱阳知县的指令；他希望能就此脱离政坛。两年来的煎熬，没出大错，最后半年所入薪俸，偿债之后，所幸稍有余裕。他在信中告诉王莲生：
六舍弟及大侄儿均为之娶妇，家叔于八月病殁年七十五，各事均为筹备。旧如枯僧，今还俗矣！独不得为田舍翁耳。
能不能为田舍翁，似乎得看巡抚的意思；先后几位巡抚对他的厚爱和赏识，他很了解，只是位高权重，上峰不太了解幕僚、猾吏、刁民所造成的重重困境，和他所忍受的痛苦。
以饶州知府而言，他给王莲生长信中写：
饶守汉军（是否即雷风，待考）性喜趋奉，而尤爱朱提，二者皆弟之所短。又其用事者，风火卦所谓“小鬼难当”，且署任官与赶墟买卖相等，出重资以冀未来之福。
换句话说，饶州知府用人，以红包多寡而定。性情兀傲的之谦，不愿买账，临到交代之际，是祸是福也只能任其自然。
在漫长的等候交代期间，他让家眷先行回到南昌旧赁的狭窄房屋居住，他自住胡果泉中丞宅，寒冬之际，就显得格外清冷。
工作加上家累，之谦回想同治十三年以来所作书画，不及在北京和杭州时一个月内所作。
同治十三年六月，为凤阁作设色条屏四幅：《荷花》、《芙蓉》、《栗芋》和《红梅》。自视四幅风格，颇类同治元年在永嘉所作。其中栗树和芋的搭配，在题材上比较特殊，宽大舒展的芋叶，衬以坚实的水墨栗叶和针囊般的栗子，显得十分清新。斜斜地伸展到岩石边的古柯红梅，使之谦回想到北京的岁月。
深秋，友人翥云将归杭州，渴思故园的之谦，羡慕之余，为作松枝纨扇。他在题记中表示，扇子古称“聚头”，希望不久之后，能在杭州聚首。
到南昌后第三度新年，他自作《元日试笔》图。茂盛的瓶花，高瓶后有绽放的梅枝，前有香橼，以及布有石景的高脚杯中，种着怒放的水仙。款题：
岁岁平安富寿，神仙百事吉祥，宰相十年。同治乙亥元旦试笔。赵之谦“同治乙亥元旦”六字，看来有些怪异，因为甲戌年同治皇帝便已归天。
同治十三年（甲戌）十二月初五，年方十九岁的同治皇帝载淳，病势沉重，召军机大臣李鸿藻，口授遗诏千余言，嘱立长君贝勒载澍入承大统。
慈禧太后见了鸿藻所书遗诏大怒，立刻扯碎遗诏，喝退鸿藻。令人感到神秘难解的是：
时过不久，宫中宣布同治皇帝驾崩。
慈禧所公布的遗诏，是皇帝奉两宫皇太后（慈安、慈禧）懿旨，由慈禧太后妹妹的五岁儿子载湉继位，定明年改元为“光绪”。
又一位幼不更事稚龄皇帝即位，自然，又是太后垂帘听政的局面。
因此，之谦笔下的“同治乙亥元旦”应为“光绪乙亥元旦”，推测可能因江西路遥，远在北京的宫廷巨变，到了乙亥元旦，尚未传抵南昌所致。
除乙亥元旦试笔，光绪元年之谦所流传的书迹，也仅见暮春为立甫所书篆书四屏，和为陶斋所作北魏书联。
篆书，是之谦在江西少作的书体，因所需要的精神、体力、时间较其他书体为巨。偏偏作此屏时，日渐暖和的天气，突然反常，写得更为艰辛。他在幅后记：
光绪元年三月二十一日，北风乍寒，阴雨竟日，笔研皆冻。前数日方挥汗如雨也。书成并记。
论及诗作，光绪二、三年间，除前引和黄蓉初留别诗四首，仅有题《为蓺渊观察题浔阳送别图》，及题朱养儒的《晴窗鉴古图》等，可谓凤毛麟角。
历代书家，不少以“鉴古”或稽古作为画题的。幽人雅士在晴窗下面，或泉边草地上，风和日丽，好鸟鸣啭，与三五诗侣，烹泉赏鉴。胡床或长案上，摆列着书画卷轴，或各种锈绿斑驳的彝器。有童子数人，小心翼翼地搬到高士面前，供主、客鉴赏、讨论为乐。在道学家眼中，这是玩物丧志的事，有的根本怀疑那些古鼎尊觚之类的真实性。
朱养儒的《晴窗鉴古图》为曾做过苏州知府的吴云（平斋、退楼）所作。吴氏，安徽歙县人；一说是浙江湖州人。他于书画之外，本身就是位收藏、鉴赏家，金石派后起之秀安吉吴昌硕，即深受其影响和栽培。
之谦半生沉迷在鉴古论今之中，摩崖碑版、铜佛石雕，乃至书画篆刻，时时罗列眼前。见朱养儒图前，夫己氏所作记中，勖以“砥砺身心，琢磨道德”，不免题诗幽默一番：
老尚佣书自闭关，卧游偏恋画中山，何当共悟遗经秘？翰墨图书一例删。
——四首之一
评书读画君应惯，是古非今我更憨；一语商量须记取，犹强枯坐作空谭。
——四首之四
第二、三两首，之谦咏及生平在珍贵古物的鉴赏，堪称壮观的不凡机遇：
海内四大藏家中，南海吴荷屋、诸城刘燕庭、歙县程丽仲，所珍藏古物，经他寓目的，至少在三四成以上。
居住山阴的赵孟（松雪）后裔，藏有松雪晚年手写大字《道德经》，道光二十三年，时年十五岁的他，曾前往观赏整整一夜。其后据说已遭兵燹，世人再也无缘一见。
题诗后面，之谦自记：
养儒仁兄属题《晴窗鉴古图》，示以监利王观察所作记，戏成四绝，为世间同好者解嘲，非敢求胜于理学也。光绪三年八月朔会稽赵之谦光绪四年，从暮春到早秋，之谦奔走赈灾不暇，身心交瘁，自然无心于书画创作。秋天，始为友人书联，写四体书屏，作品也颇为有限。
五年夏，饶州官场虽然混乱无序，但他去职似乎已成定局，友人葆生持纨扇索画，之谦回忆在南昌青云谱道所见八大山人（名朱耷，雪个、人屋等均为其号）冷傲的画境，为作《枇杷图》一幅，墨沈充沛，笔法简洁。
画给鹿君二兄的《松》、《荷花》、《菊花》和《枇杷》四幅连作，未具年款。从《枇杷》题识，可见他对八大山人的景仰，并自信可以得到八大绘画的神髓：
自游豫章，得饱观八大山人画，鹿君二兄大人属写四纸，遂用其稿，虽未为神似，亦不必逊之也。赵之谦明亡后，八大山人出家为僧，后因和尚不得娶妻生子，传宗接代，乃改为道士，在南昌东郊建青云谱道，过着隐居的生活。清代黄安平画其晚年小像，画像四周，题跋很多。
擅长水墨花鸟和动物的八大山人，往往寥寥数笔，干湿并用，便能充分传达出思想和感情，也就是“笔简形具”、“形神兼备”。《芭蕉鸣蝉图》浓墨勾筋的焦叶，墨色鲜活淡雅，正面写蝉，稍加点画，便栩栩如生。
八大山人作品，大类如此。有时整个画面，只有一条鲶鱼，一只睡猫，或一只爬到瓜上的老鼠，孤孤单单，怪怪奇奇，感觉上却完美独特。
综观八大山人和之谦，两人性格同样兀傲不群，玩世不恭。倘如之谦在江西工作环境顺适，稍得余暇，八大山人对他的影响，当不下于陈白阳、徐文长、李和金冬心等，其融会各家后的绘画成就，必有另一番面貌。
光绪五年秋冬，他为同年冯子因知县所画的《石柏》，过程十分有趣。到饶州府洽公的冯子因，一年前便以纨扇求之谦作画，只因之谦忙于县务，分身乏术。
五年深秋，子因再到府署洽公，一日从鄱阳城北鸣山庙游归，述说庙中古柏所长巨瘿，奇形怪状，十分骇人。之谦请子因画给他看，子因表示不能。之谦取出纨扇，很快地画出古干衬托下的枝丫和巨瘿，看来有如千年神木。
上题：
非迫于人，在鬼之庭，万年回首，有匠石惊。
下识：
鄱阳城北鸣山庙，有古柏成巨瘿，状极奇丑，人不敢伐。土人传闻异辞，荒怪不足信；要其为老树，阅世已久，亦可敬也。戏缀十六字。
十月十一日，子因前来取扇，之谦再题：
子因同年，持箑索画，年余未有以应，已卯九月书之，十月十一日，写此与之。之谦记将近两年的鄱阳令，其中艰辛难以笔墨形容，之谦笔下阅世无数的古柏巨瘿，也许才是最好的见证者。