赵之谦收到妻子自绍兴来信，是咸丰十一年五月间的事。
太平军的压力，日甚一日，但守土有责的地方官，空有议论，并无具体措施，看来绍兴已是危城。她所扶养的赵烈长女，已经出嫁了，也算了却一件心事。她带着三个女儿和长兄赵烈其他子女，由东关迁到道墟乡娘家附近，僦屋而居，便于相互照应。
赵之谦对这封烽烟遍地时期的家书，珍惜异常，后悔既未能一同迁徙于前，又未能在道途阻绝前返乡照顾家小；对妻子的歉疚，有时使他坐卧不宁。
但，退一步想，即使把家口迁来瑞安或永嘉，在太平军和金钱会双重压力下，仍是困居危城。
活动于平阳附近钱仓的金钱会，成立于咸丰八年，以开客栈的赵启等八个人为首。入会者缴二百钱，由金钱会发给铸有“金钱义记”和“方胜”字样的铜钱一枚，及红帖一张。目的是结会自保，会众不分老少，皆为兄弟。到了咸丰十一年秋天，拥众不下万人。
瑞安有位孙渠田侍讲，是卸任多年的广西提学，组“白布会”，凡缴百四十钱，发给白布一方，上盖关防，各义是保卫地方，但交结官府，关说案件，县令畏之如虎。
平时两会互相仇杀。八月二十八日，金钱会十队人马，突然绕过瑞安，出其不意地拥入永嘉郡城。杀死捐输委员许象贤，连道台、知府和永嘉县的官印，也被拿去。
当时县令陈宝善出城催科，知府黄惟诰、巡道志勋，均不在永嘉城中，成了混乱无首的局面。但百名台州勇忽然杀出。金钱会来得迅速，去得飘忽，台州勇开枪打死二人，抓住四人，余下一哄而散，逃遁无踪。
经这一事件，赵之谦存放在永嘉寓所的东西，被掠得只剩下妻子的一封家书。陈宝善仅存亡妻的纪念物——香炉，和赵之谦为他画的《香火因缘图》。
香炉是陈夫人奁中物，她在战乱中去世，香炉被劫。其后陈宝善在苏州古董店中发现买回，成了妻子仅有的遗物。一年后，从温州去而复返的赵之谦，同样步上家破人亡的命途。回首前尘，检视两人所持香炉和家书，赵之谦叹息悲哽，为陈宝善题《香火因缘图》：
历劫所不坏，于物愧为人，中有呵护者，知是孝烈魂。余妇死贼中，文字无一存，惟有半纸书，依我同风尘。两家先后事，一梦过飞云，莫更说因缘，画卷看泪痕。
金钱会攻永嘉前的八月中旬，赵之谦戍守的瑞安，便已经一夜数惊。二十三日，平阳城外，富户房舍被焚、被劫，天空中黑烟弥漫。一夜四更，之谦听到树上训狐啼声，凄厉而诡异。
传说，训狐啼鸣，是不吉之兆；在这种乱民遍地，烽火燎原之际，听起来更让人不寒而栗。之谦在诗中赋：
月黑四更尽，树头啼训狐；初如瓶纳水，忽若户转枢。毂辘复毂辘，叫天当无辜；我亦知休留，劳汝来相呼！汝亦弗复呼，呼笑皆可诛（相传训狐啼必大雨，其声前呼而后笑，不甚可听），但解鸣不祥，见恶周群愚。
——《听训狐啼树上以诗纪之》
时时上城巡视的赵之谦，想着道台和知府策略不定，城中白布会党，平日敛财，此际坐待营兵拼死拼活，军需、军饷一概不顾，远在千里之外的家乡，报称太平军威力日增，前途未卜，不由得感伤万分：
忽传烽火薄孤城，构衅寻仇祸早成；此日可怜图白战，斯人何事误苍生。故乡心悸方多难，穷海藏身更苦兵，不信钱神偏作恶，空囊一掷竟无声。
——《贼情叵测守城方严深夜独坐百感交集戏成三律以写我心》（三首之二）
及至笳鼓已残，天将破晓，保土保民的责任感，又取代了前首诗的感伤和消沉：
信是危邦须有我，忍看守土委斯民，飞云江上潮来急，欲易滔滔尚问津。
（三首之三）
身为军事参谋的之谦，参与巡视和军事布置之外，又写了一篇洋洋洒洒的露布，篇名《二劝》，张贴于通衢要道。一劝金钱会众，不要违背团结自保的初衷，专事寻仇，应及早自首，既往不究；如申请加入团练，才是保乡立功的正途。否则难免身败名裂，遭官兵诛灭，受国法制裁。二劝白布会首脑，名义上既属团练，一切该遵守团练的约束和性质，不可愚民，对金钱会挑衅仇杀，以致冤冤相报，永无了时。他写：
轻举妄动战何易，殃及无辜尤众怒。劝君自反仁与忠，俯首且当安儒素，早除白布说团练，勿笑金钱急搜捕。
一般官场，因孙渠田侍讲势大，卸任返乡后又奉旨办团练，加以金钱会已有出格举动，多只指斥金钱会，偏向白布会。赵之谦两会同加劝告，实为釜底抽薪良策；可惜，两会均未接受，大战迫在眉睫。九月二日，永嘉城事件后的第四天，赵之谦冒着夜间大雾巡视瑞安南门，城外雾中传出隐约的人声，飞云江上遍布灯火，如天上的星斗。经过半个月的煎熬，风声鹤唳，守城军士疲态毕露。
传说，城上土不闻腥味时，必有凶事；所幸此时泥土尚有腥气，老于行伍者以此互相安慰。
九月四日，剑拔弩张一触即发的瑞安大战未发，永嘉攻防战却又再启。
这次，散而复聚的金钱会，是有备而来。
会中师爷蔡华，是位本科拔贡生，颇知军事。命会众携带登城糠袋、防弹软壁等，设想堪称齐全。
事后赵之谦听说蔡华曾计划在飞云江上搭浮桥，使柴船进不了永嘉和瑞安，在永、瑞合境的下流掘开水道，使两城护城河水泄尽，失去防护功能，在两城四围堆土城，安排炮位，等等谋略，大表钦佩。赵启尚能用这样人才，相较道、府和瑞安知县却无这样见识和用人的雅量。
战役始于永嘉的“瑞安河”与护城河汇流的南门，官军刚一接战便退，仿佛不堪一击。金钱会众，高举兵刃，挑起前获驻永嘉各署官印，摇旗呐喊地追来。不料东西两侧伏兵突出，除了少数会众作困兽之斗外，余者返身奔命，落水而死者不下两百人。有的挣扎跃上河岸，也为城上伏兵射杀。一堆堆帽顶，在河面上漂流。被获后正法的，也有百人之众。
金钱会首领经过永嘉大挫之后，派遣十人，持抢到的官府印信到处州见太平军将领，请求派兵攻打永嘉。太平军不允。赵启只好偃旗息鼓。永嘉、瑞安暂时平静下来。
瑞安文风不盛，能与赵之谦诗酒唱和、讨论的友人有限。
孙渔生对《红楼梦》的兴趣，和之谦一样浓厚，暇时，一起品评书中的人物性格。
之谦一向认为林黛玉有才貌和傲骨，可惜不爱别人，却独倾心于一无可取的纨绔子弟贾宝玉。而她，又使多少男读者为之神魂颠倒，以贾宝玉自拟。
有夜，之谦梦中还在与人争论此事；梦中的他忽然领悟：“人人皆贾宝玉，故人人爱林黛玉。”和他争论的人，闻言俯首而去，他也随即从梦中醒来。
他告诉孙渔生：“若认真品题，则全部《红楼梦》第一可杀者即林黛玉。”
他对林黛玉的品评，过去只有胡澍略表赞同。
孙渔生从另一个角度批评黛玉：“以黛玉为妻，有不好者数处：终年疾病、孤冷性格；使人左不是右不是。虽具妙才，殊令人讨苦。”
之谦听了大乐，说：“何尝不是，但如此数者，则我自有林黛玉在，不必悬想红楼梦中人也。”
赵之谦自称具有林黛玉的性格，孙渔生乍听之下，大惑不解。但分析起来，赵之谦多才多艺，有世代相传的喘症，天冷必犯，凡事求完美，于是性好挑剔，落得周边的人，左不是，右也不是，吃尽苦头。孙渔生听后，拊掌大笑说：“怪底君恶黛玉，原来曾吃过黛玉苦头的。”
此外，二人对王熙凤的善治家，有远见，能看穿全局，聪明能干，却对有些事明知故犯，看法完全一致。
王云西雅爱绘画，理解不深，赵之谦论绘画拙与野，就是由他引起的话题。他对温州的花木颇有认识，认为珍珠莲红艳娇娜，比天竹为细，常州人称“珊瑚草”，猜测可能是《红楼梦》中的绛珠仙草。
王云西认为，此物野生，但得来不易，却和通灵宝玉相配；在家中是宝，在外间不过废物一种。
云西此说，正与之谦评宝玉为一无是处的纨绔子弟，不谋而合。
云西熟知永嘉、瑞安一带的传说和掌故，他曾说永嘉城西土地祠前，石板很软，人站其上，会颤动。又说，前年有一痴汉，忽然失踪，后来家人在一座砖砌，无门无隙的坟中，听到有人喘气，试着一问，发现痴汉竟在坟内；唯至今无法知道，他到底如何进入密闭的坟墓，怎样得以存活？之谦听了，只能半信半疑。
梁平叔是在瑞安友人中较年长的一位，身体也不太好。梁氏颇有归隐之志，与上海女子李桂卿订下婚约，预定九月间前往迎娶，倩赵之谦为他画幅梅花帐的横额。之谦戏作《桂花连理》图，在所题七古诗中，颂扬白发红颜相互辉映的情趣：
明月出海迟荒村，团乐偏照游子魂，中有桂树许相依，姮娥若待怜黄昏……
之谦趁瑞安一时安定，决心脱离地方恶斗的漩涡。计划于冬间返绍兴与杭州，并于次春设法赴北京应试。
九月廿五日，之谦偕同迎娶在即，满怀喜悦的梁平叔航向永嘉。身为宋室后裔的赵之谦，对永嘉城北，宋高宗驻跸过的孤屿，似乎有种偏好，急欲与三五好友凭吊信国公文天祥祠，在双塔上看海市蜃楼的幻境，入江心寺畅饮赋诗；一洗数月来的紧张和郁闷。