咸丰十一年七月，因英法联军逼近京城，仓皇走避热河的咸丰皇帝爱新觉罗·奕，崩于避暑山庄，年仅三十一岁。留下东、西两宫皇后和年仅六岁的皇太子载淳。
随跟在热河的怡亲王载垣、郑亲王端华和大臣肃顺、景寿等八人，自署为赞襄王大臣，总理政务。咸丰帝自北京行前，诏命留守北京，主持和议及大局的恭亲王奕，前往热河奔丧，备受八人冷淡，并不许晋见载淳和两宫皇后。
八人意欲挟皇太子以令天下；在北京的权力中心，则希望皇太子赶紧奉梓宫还京即位，请太后垂帘听政，使政治早上轨道。
赵之谦从瑞安航向永嘉前后，恭亲王正透过管道，独见为叔嫂关系的两宫皇后，密谋如何还京，并解除八位王大臣的权柄。
到永嘉数日之后，军报传来，太平军已于九月二十九日占据绍兴。太平军从绍兴西北的萧山县进军，团练惊得四散，援军将领林福祥、饶廷选，也率军走避。之谦暗自庆幸妻子有先见之明，把家迁到乡下，或可幸免于难。恐怕这年冬天，已是归家无望。
到了十一月二十八日，杭州城再度落入太平军手中。好友胡澍一家，曾经避过重重劫难；能否安渡此乱，使他日夜萦怀。
犹记咸丰十年二月，李秀成悄然退师，往解太平天国天京之围。清提督张玉良，不战而有收复杭城之功；两江总督何桂清奏系王有龄密授机宜所致，于是，诏授王有龄为浙江巡抚。
王有龄善于募捐事务，为报答朝廷恩德，上任后，修城筑壕，整顿杭州防务，广筹军需粮饷。
十一年四月十二日苏州失守前，张玉良率败军驻于苏州东城的葑门，却半夜潜逃，投奔浙抚王有龄。苏州民众恨张玉良败军劫掠，开门迎接李秀成，致苏州迅速易手，巡抚徐有壬死。不过，与张玉良有私谊，并分沾收回杭州功绩的王有龄，对玉良仍然信赖，并付以重任。
六月，王有龄以浩大的军费，命玉良收回嘉兴。扎营于嘉兴南湖的张玉良，又是未战先溃，刀枪火炮和炊具篷帐，弃置一地，使王有龄经济元气大伤。赵之谦曾在《章安杂说》中，记下这场令人哭笑不得的“战役”。
据说，嘉兴城内太平军，以嘉兴地窄，想退到常州避暑，不意张玉良大军开到。之谦写：
……而忽闻官军至城外，则张璧田（玉良）军扎营四五座，贼因改议相机缓退。一夕，兵勇互争；有三贼出城视之，不带军械，仅持纸扇，缓步而来，我军齐呼贼至，全营自溃……
——则七十四
不久，张玉良又到金华附近的兰溪，纵兵大战民团，太平军则趁机占领兰溪。
杭州第二次失守，这位常败将军，受王有龄之遣，守饷源已绝的杭州。张玉良中炮而死。十一月二十八日，杭州再次易帜，瑞庆战死，王有龄自缢。
太平军势力强劲，而清军怯懦，往往未战先溃。连主帅如何桂清者流，也对太平军闻风丧胆，弃地而逃。不过，这时的赵之谦只知何桂清临战潜逃，避居上海，拒不赴京受审。未料到数月后何氏即被逮进京，明正典刑。
赵之谦曾先后寄三封家书，均如石沉大海，坐困愁城，又无法接济妻女。于是决定离开永嘉，由福州转搭洋轮进京，为缪梓雪冤，也希望藉科考迈向宦途，一展抱负。
之谦从瑞安来永嘉的前八九日，曾写信给江湜，表示相聚在即，他说：
大约五日内来郡，仍在仁丰栈，可得数日聚。刻已有归志，相见正须珍惜；知素心人必有同也。
出乎意料，正在之谦准备归家之际，传来的却是绍兴被太平军占领的消息；倒是江湜已做好赴闽准备。
江湜前往福州，和他想联络家人，接运至闽有关。
十年四月中，苏州易帜，江湜父母双双遇难，陈宝善也家破人亡。
十一年八月中秋，二位为宦温州无家可归的乡友，在烽火燎原的危城中对饮浇愁，守孝中的江湜，破例赋七律一首赠宝善：
一岁中秋即日过，却思去年涕滂沱，境同隔世惟身在，醉更伤怀奈酒何！乱后交情君独厚，客中生趣我无多；明朝远上江心寺，目极家乡渺渺波。
由此，不难体会江湜思家心切，以及满怀的乡愁。
为了行路安全，他隐藏军人身份，化装为僧。之谦在《题江弢叔龙湫院行者小像并送之闽》中，写乱世中的依依离情：
笑我已难穷似鸟，多君犹得冒为僧。客中大悟无家惯，死生朋友青蝇。仙霞关上台湾外，行脚天教试一疼。
十月十五日，赵之谦把自行珍藏的《瓯中物产图卷》，题赠江湜以壮行色。
送江湜离去后，之谦心中，感到一片茫然。
江湜到永嘉，比之谦为早，两人正可以诗酒唱酬，时相探讨；但，适值江湜孝期未满，不宜赋诗。
不过，江湜十余卷伏敔堂诗稿，使他不难从字里行间一窥这位长洲诗人的感情和风骨。
咸丰十年杭州城失守之后，江湜诸物被洗劫一空，仅余一幅《立马雪中看岳色图》。不久，有位朱姓友人，见到被劫去的诗稿，为他买回，诗卷和立马图，就成了他带来温州仅有的纪念品，供他咀嚼过去的岁月。
十一年春天，友人徐仲水，派人来取江湜诗稿；表示现在为宦东阳县，赴任时，请到杭州刻工同来，愿为江湜刊印诗稿，以流传后世。这原是一件美事；江湜正审慎考虑时，金华失守，邻近的东阳也岌岌可危，事情只好作罢，诗稿再次逃过一劫。更奇妙的是其后的八月廿八日，金钱会众突然冲入永嘉郡城，官署的东西被席卷一空，但江湜的诗稿和图卷却安然无恙。之谦看来，实属奇迹。
瓯江中的江心寺，是江湜和之谦乐游之地，寺中小酌，谈古论今，搜寻古代遗迹，可以暂时遗忘妻离子散，家破人亡之苦，和局势动荡的压力。
当之谦整理他们之间论议的简札，辑成《章安杂说》时，曾以一则短序，作为他们之间永恒的纪念。
八月十六日，温州地区大雨狂风，连夜不止。在金钱会警报频传中，更令人辗转难眠，惊心动魄。戍守瑞安的之谦，曾以《八月十八日闻戒入夜大风雨不止》、《风雨弥甚枕上得一诗》两首五古，描写暗夜中风雨之恶。他在后面这首诗中绘影绘声地写：
独卧风雨中，宵深更声恶，厉合群叫嚣，急杂齐掠，浸润物先腐，往来鬼为疟……
无独有偶地，斯时在永嘉的江湜，亦赋《院署雨夜》五古，写雨外，更忧心时势：
忽闻羽书来，贼薄东瓯城，此邦犬牙地，溪山路交萦，要险凡几处，势难赤手争……
江湜去福州以后，瑞安、永嘉所受金钱会的压力虽然略减，但陈宝善却积劳成疾。他申请因病引退，上宪却又强加挽留。
避难永嘉的前仁和县令邵燮元（步梅），将于十一月中旬登舟赴闽，只是，意欲同行的赵之谦，受陈宝善藉重，坚不放行；友谊、信赖，使之谦左右两难，加以尚有些未了之事，故决定缓行。
他在给江湜信中，诉说他的处境：
缘弟一家十口，外恃一男人支持供应，内仅一妇人看视衣食。今忽分散，不知其死生，忍之不顾；非有大罪（？）而不敢出者。则以儿女私情，必得讨一下落，方为安心之境。并不恋东瓯一步也。此事谅早有闻，无须赘述。弟以北行为极乐世界，务为探听冬末春初有无赴京夷艇，弟必附之。
到了十一月廿二日，也就是杭州二度失守前夕，局势日迫，全浙震动。赵之谦寄江湜信中，亟表欲去不得的苦衷：
……此间事非易了，刻正如膜里发毒，痛处无定所，而不得其脓之所出，故时时可危。且有人牢守门枋，不能出走。以此身试此地之险，似不若去岁清波门（按，指缪梓战死之清波门）之为得也。
此时，之谦绝望之情，见于笔墨之间。