同治元年四月，江湜《伏敔堂诗录》十五卷全部刻成，请之谦题署，并写篇感言，附于诗录之后。
江湜诗稿，历经种种劫数，得以幸存面世，是文坛盛事。之谦是江氏知交，也是江诗的热爱者，理应感到快慰；但此际赵之谦由于家庭巨变，悲不自胜。因此落笔为文时，笔调沉重，不能自已。
咸丰末年五月，之谦从绍兴到温州不久，收到妻子一封信，此后便音讯杳然。
同治元年四月六日，当他正苦思家园的时候，忽接家乡来信，妻子范敬玉已于二月廿七日，病逝于绍兴道墟乡娘家，在此前后，二、三女慧、榛也离开人世；只有长女桂官，寄居在之谦堂兄赵诚谦家中。
为了痛悼家庭巨变，之谦以“悲盦”自号。他在“悲盦”阳文印款中刻：
家破人亡，更号作此。同治壬戌四月六日也。叔记又刻一方“我欲不伤，悲不得已”白文印，款：
叔悼亡，乃刻此语。
当他展开上年五月范敬玉家书时，眼泪不由得滴落纸上；这是他手边仅有的妻子纪念物。想到夫妻的恩情，妻子婚后的操劳和辛酸岁月，赵之谦誓言终生不再续娶正室。此外，他也开始笃信佛教，镌“大慈悲父”白文印，边刻：
南无阿弥陀佛。写铜佛记之印，意在超度妻、女亡灵。
《书江弢叔伏敔堂诗录后》文中，赵之谦谈和江湜结识的经过，伏敔堂诗稿付梓的一波三折，也引述江湜诗主性情的文学主张：
弢叔之言曰，辞章者人之元气，若状貌、情性、声息、嗜好；一人具一象，一象自具一体，同非具，具亦非异。毋依附，毋假借。
江湜认为，文士与其考证百家，不如言性取心，得以超越程朱陆王。
四千三百年中，辞章有传不传，独立者贵，天地极大，多人说总尽独立，难索难求，立能立见，独其成，弗可及已。
和江湜半生专意于辞章相较，之谦四岁从里中塾师习章句，以后随年龄和处境，律例、簿书……几乎无所不学。赵之谦自认是“新无成，旧则尽弃”。
生逢乱世，之谦觉得，学得杂。所闻所遇则更是千奇百怪，无所不有：
然生当多事，奔走危难，出生入死，历奇穷孤愤，积感大哀以百十计。阅大忠信、伪言行、任侠者、坐死模棱者；存身辟险怪诞之真，牢笼操纵之法，及夤缘逢迎无所不至之术，以万千计。
在这种个性、环境、学习和复杂社会不断的影响下，赵之谦对他的思想行事，作了一番反省和自我剖析：
其行事，求经不得，比史不得，等之小说家且不得。其言论，非皇古，非晚近，儒无是，入之佛佛无是……四千三百年中，日积日出，不可思议，其可心得；余得傲弢叔者有此。
也就是说，江湜学术成就是专于辞章，之谦的学问在融会古今百家和现实的冲激，结果是非儒非道，非古非今，非中非外。江湜不幸中的大幸是心血结晶得以保全，而他则因家毁人亡，留在家乡的三十三岁前积稿数册，全数化为灰烬。至于缪梓，不但殁于王事，死犹受劾，而遗集，是否付梓或亦归乌有，不得而知。思之令人不寒而栗。
文末，之谦带有几分自我开解的口吻写：
今年三月，弢叔刻诗成，为之喜；为弢叔喜有，为余喜无，乃书两人平昔言卷后；告异日读弢叔诗者，说宗旨，无阿私。同治壬戌四月，会稽弟赵之谦四月的福州，连雨十余昼夜，到处积水。有时，屋角微露日色，之谦以为可以出去散散闷，哪知刚一出门，细雨千丝万缕，迎面而至，仿佛受了欺骗，赶紧转身回到屋里。
更糟的是，他腹泻不止，痛苦不堪。根据之谦在战地的经验，太平军常常趁天雨不止挖掘地道，发起猛烈的攻势。果然，接到温州来信，说在雨季攻势中，桐岭弃守。这表示，永嘉也将再次告急。之谦在《苦雨叹》长诗中写：
愁中听雨愁更愁，愁雨愁我病莫瘳；不愁死我一人死，愁雨不止愁温州。明朝雨止未可卜，泪如雨下千万斛，我泪日少雨日多，雨不我欺如我哭。
他也在给友人信中，表示对温州局势的忧心：
昨大泻几死，卧一日，今朝甫能起行，册纸准换佳者，惟非晴不克动笔耳。温州十四日信来，贼分三路攻永、瑞、平，天日有淫雨助之；不知近事如何？然无信来，必非妙也。复请著安！谦顿首，并谢惠纸，廿日
雨止了。之谦又为老鼠所苦。
福州鼠特别硕大，长约尺余，幼鼠也有数寸，成群结队，不仅不怕人，连猫见了，也不免股栗。蹿上几案偷食物，破箱箧咬衣服，甚至连蜡烛都嚼得津津有味。西邻被鼠闹得晚上移到之谦寓来避鼠患；可能看准他流寓在外，无物可啮。所以，当赵之谦张罗除鼠时，邻居笑说“不必”；之谦在《福州鼠一篇》长诗中写：
西邻告我无急于；先生行箧故空如，破书仅存四本余；况复半年福州居，未闻一鼠曾啮书。福州鼠，安可除！
端阳节，在邵燮元请托下，之谦为作端阳节物图，画端阳节物十六种，并系以诗。
福建风物和节俗，与苏、杭不同，他们认为有朝还乡，谈及闽地风俗物产，当别有一种趣味。
端节前后，荔枝上市。
杨贵妃嗜荔枝，使杜牧留下“一骑红尘妃子笑，无人知是荔枝来”的名句。
东坡《食荔枝》诗中的“日啖荔枝三百颗，不妨长作岭南人”，使人对古称蛮荒之地的岭南，生出遐想。
但，赵之谦初尝荔枝，却没有什么良好的印象；因为他食到的是未熟的荔枝。这使他联想到上年十一月在温州江心寺所食垂尽的橄榄；当时连食三四颗。
“食橄榄”与“啖荔枝”，“垂尽日”与“未熟时”，倒也对得工整。无论二者滋味如何，总可在生命中留下飘零四海的回味。
他在诗中写：
昔去温州食橄榄，今去福州啖荔枝；食橄榄在垂尽日，啖荔枝在未熟时。略尝甘苦天原谅，长此飘零我自知；有口莫留根必植，好从身世计推移。
——《始食荔枝作》
初啖荔枝的赵之谦，随即为相识于福州的韩佛生画荔枝，书荔枝诗；这也算是之谦写生题材的扩充：
按图索骥成何事，画饼充饥殊可怜，漫道写生求活计，荔枝如此不论钱。
——《画荔枝为佛生》
之谦和韩佛生，论起来应该是世交。
韩佛生杭州人，小名“菩保”，为他祖父韩米舫所取，之谦曾为佛生刻白文小名印。
佛生父亲韩叔度，也是金石藏家和篆刻家。一般画家，很少画金元宝的，以其为俗物，但叔度所画元宝折扇，却传为士林佳话，纷纷题跋。其中吴江杨澥长跋尤为风趣：
……且元宝之为用大矣哉，寒者得之以谋衣，饥者得之以谋食；妻子以之而和顺，朋友以之而欣悦。尤能转祸为福，因败为成，其利溥哉。其利溥哉！况雅人高致，一旦无之，何以行其雅兴耶？……
佛生虽生长书香世家，但他做学问，似乎并不专注，之谦后来与友人手札中，也偶有提及。同治九年，韩佛生科场失意，遭到罢黜之后，酗酒消沉。生平很少画人物的赵之谦，为了规劝佛生，画了幅《醉魁星》图。
衣裳不整，散发赤足坐于地上的韩佛生，瞪目努嘴，仿佛要呕吐的样子。笔和斗散落身边，看起来有如酒醉疯癫的流浪汉。上题：
佛生吃酒当正经，一醉面红再醉青，今日醉完明日醉，将来须碰醉魁星。佛生报罢之后，画此戏之，既可以为戒，且可以为祝。
咸丰十一年一整年间，之谦在绘画题材和风格上，有很大的变化，但篆刻创作上，几乎中断。同治元年春，在福州与锡曾交往后，接触更多印谱和碑版，魏氏又主动为他辑印成谱，他不得不重拾刻刀，使他篆刻创作，进入新的高潮。这种高潮，一直延续到重返温州后的同治元年下半年。
之谦刻于福州之印，仍以汉凿印和汉铸印为学习的对象，以浙、皖两派大师或杰出传人的成就为标的。
例如，接到家中噩耗前不久所刻的，近似邓石如风格的名印，款刻：
龙泓无此安详，完白无此精悍。
充分显示出他对此道的信心。
“会稽赵之谦字叔印”，白文，款：
息心静气，乃得浑厚，近人能此者，扬州吴熙再一人而已。
吴廷飓，字熙载，号让之，后以字行。之谦款中何以刻“熙再”，待查。江苏仪征县秀才。书师包世臣（慎伯），篆刻传邓石如（完白）衣钵，并擅写意设色花卉。此际已年逾耳顺。
石如印宗汉与六朝；大约八九年前，之谦曾见过让之一二方印，认为已得石如真传，大感钦佩；即在心中引为同志，故款中极力颂扬让之。
之谦在福州所刻，以自己的名印、字印居多。原来刻有“二金蝶堂”印，长题中称颂七世祖赵万全万里寻父，孝感动天，致有二金蝶投怀故事，可惜早已失去。正巧他在惇仁里徐氏店中，买到一方百余年的印石，就补刻了“二金蝶堂”白文印，印钮看起来也很浑朴。此印能藉《二金蝶堂印存》流传于世，后人既可知堂名由来，也可以传播祖德。
他在边款中刻：
……吾宗遭乱离，丧家室，一身，险以出。思祖德，惟下泪；此刻石，告后世。同治纪元壬戌夏，赵之谦辟地闽中作记。……
余者，为江湜和魏锡曾二位知友所作名、字印，也占此间所作相当比率。又因咸丰十一年前，杭州连遭战祸，许多乡友，家破人亡，所藏金石书画尽皆丧失。辟地福建之后，锡曾开始重新搜藏、审定，多倩之谦为刻收藏与审定新印。如：
“锡曾审定”——白文。
“稼孙经眼”——阳文。
“江湜壬戌以后所书”——白文。
赵之谦自己也刻有：
“悲盦壬戌以后文字之记”——白文。
“叔手校”——朱文。
“叔壬戌后所见”——白文。
“赵之谦同治纪元以后作”——白文。
为了报答锡曾为他拓辑印谱，之谦为刻：
“魏锡曾收集模拓之记”——白文印，款：
悲盦居士来闽中，为稼孙刻此印，以酬其劳。同治壬戌六月《二金蝶堂印存》刊成时，之谦篆书“稼孙多事”四字题于册首，并以欣慰与感激的心情，写了一篇短序：
稼孙竭半载心力为我集印稿、钞诗，搜散弃文字，比于掩骼埋胔；意则厚矣，然令我一生刻印赋诗学文字，固天所以活我，而于我父母生我之意大悖矣；书四字儆之。悲盦自记之谦到福州半年期间，锡曾为他搜集散失的诗文篆刻，刊印谱，备极辛劳。但之谦为他校勘古籍，审定金石，刻制印章和作书画，也难得休闲。
之谦惧暑，冬天犹着单衣，置身南方，三伏天里，竟日满头蒸汗，需要鼻烟来提神醒脑，或想收取一些印石、润笔使用，他会写信给锡曾。这些手札，有的委婉幽默，有的大动肝火。
之谦性急好骂远近驰名，锡曾收到他龙飞凤舞的手札，即使挨之谦一顿痛骂，也不愠不恼，传示座客，奇文共赏。并珍重地钤上收藏印记，交长子魏性之装裱入册，作为传家之宝。