赵之谦于咸丰十年春天，前进北京赴礼部会试，为战事所阻，半路折返江南；又赶上杭州被围，不得已绕道航往绍兴。三月一日回到家乡时，杭州已在太平军之手中，缪梓殉职。不过，数日后，杭州即失而复得。
这次战役虽然短暂，死亡则不下十二三万人之多。将军瑞昌、副都统来存联名奏请朝廷，抚恤缪梓。
到了闰三月，围困南京的江南大营为李秀成攻破，三百余军营设备被夷为平地。清军主将张国梁战死，督师和春，受伤后呕血而亡。
四月，太平军进兵常州，驻节常州的两江总督何桂清手足无措，想借机弃城而去。
常州绅耆数百人，手执香火，跪在总督署前，要求何桂清共同防守。何桂清怒而命开枪，击毙请愿士绅十九人，率亲兵仓皇过苏州，遁往上海；常、苏二州相继失守。当朝廷降旨，命何桂清进京受审时，他以道路阻塞拖延不前；冀望能在上海筹募军饷，将功折罪。
这则消息，使赵之谦回想到当日何桂清坐视杭州被围，以致城陷，真是感慨无限。
李秀成这次出师，不及一月工夫，转战七百余里，攻占六十余城，驻军苏州，继而取下浙江的嘉兴。
太平军势力大振之后，安徽南部、浙江西部，均在战火欲燃之中。当赵之谦正准备移家山中避开战乱的时候，接到以前缪梓幕中好友胡培系（子继）从杭州来信：缪梓已被朝廷撤销恤典，其第三子候选同知缪植礼，遭撤职处分。
对赵之谦而言，这消息有如晴天霹雳，他感到人世间的不公不义，恐莫甚于此。
新任浙江巡抚王有龄，尽管何桂清这个靠山已失，江南局势动荡日亟，但打击异己的行动并未稍减。
大约五月间，王有龄仅凭杭州某些反对缪梓固守待援者的证言，不问张玉良何以迟迟赴援致杭州失守，就将所有责任推到缪梓父子身上。在胡培系所抄录的王有龄奏牍中，劾缪梓“创议株守，荼毒生灵”，把缪梓于清波门被炸崩坍，后战死，说成缪氏主持浙中军务最久，部下多不得人，结果为所部潮州福胜勇内叛刺杀；请撤其恤典。至于缪植礼的罪名，则是他所带领的宝胜勇，先行内乱，杭州城破，植礼仓皇逃遁，请下兵部严加议处。
赵之谦决定撰雪冤状，澄清事实，不畏一切艰辛，为赏识与培植他的恩师洗雪冤抑。他在状中，明白诉说他写状的动机：
之谦事先生久，又先后侍军中者三年，尚知先生立身行己之大，奚忍选（疑误）蠕观望，猗违于时？亟述事状，以寄先生诸孤，俾永藏守。公道未亡，文字不灭，兵刃汤火无能劫也。
事状文长三千六百四十余字，历述缪梓学养、出身、事功、杭州防守与失守过程，以及缪梓惨烈战死的真相。江南官场人事倾轧现象，无疑是导致社会动荡，战事失利的主要因素。他也就其所知，毫无隐讳地写出。文成于咸丰十年九月一日，自署为“门下士赵之谦谨状”。抄录数本由缪梓诸子收存，藏之久远，供千秋万世公断。自己也纳于箧中，随时找机会呈奏，上达朝廷。
在故盐运使缪梓幕中，有“绩溪二胡”。两人相差三岁，年长者名培系，年轻的一位名澍（荄甫、甘伯），都是安徽绩溪县人。两人相亲相爱，看似手足；就家族辈分而论，胡培系是胡澍的叔祖。
胡培系是贡生，以钻研三礼著称，每天晨起，便一遍一遍地讽诵仪礼；在他停止讽诵之前，谁也不便打扰他。
胡澍为绩溪秀才，擅长考据、六书，兼擅绘画和医术。赵之谦小胡澍四岁，就考据、书法方面，对胡澍异常钦佩；尤其篆书造诣，使之谦更自叹不如。这两位战乱中的生死知交，处在内忧外患，救亡图存的大环境中，对科考所赖的八股文，都十分痛恨，认为是读书人无补于事的麻醉品。缪梓觉得，求取功名也是报国济世的必经之途。尽量引导他们以古文之法作八股文，俾得功名和学术、兴趣得以两全。胡、赵二人的秋闱得意，与此不无关系。
咸丰九年秋天，胡澍和赵之谦同时中举。十年正月，也都起程前往北京参加会议。正值捻军与进军杭州的太平军南北呼应，攻打河漕重镇清江浦；致北上道途受阻，进京无望。胡澍欲转向故乡时，绩溪却已落入太平军手中，闻知旧居大厦，化为灰烬，遗业均已荡然无存。遂折返太平军已离开的杭州；所幸家眷无恙，乃携眷前往尚未受战争蹂躏的绍兴。
难后重聚，对赵之谦和胡澍，都算一大快事。这时，赵之谦的家，已由大坊口迁到绍兴城的东关。妻女之外，再加上长兄的子女，共八九口之多。胡澍一家，借住于此，就变得十分热闹。想到自缪梓幕中相交，十余年来，颠沛流离，在衢州之战中九死一生，感慨无限。之谦在诗中写：
世界一局棋，欲败子乱；吾生类棋子，白黑满地散。论交十余年，遭际几更换，可怜一着错，事坐读书半……予家方播迁，且幸归来看；君家亦无恙，相见贺湖畔。乱离得欢喜，团聚从患难，寄居于我室，谈笑恒彻旦……
之谦诗中的“贺湖”，在绍兴城的东南，又名“鉴湖”和“东湖”，唐玄宗时代，诗人贺知章隐居于此，故以“贺湖”或“贺监湖”称之。
胡澍见湖光山色，风景奇佳，在赵家寄居一阵后，便于附近僦屋而居。两人虽然不再并榻作彻夜欢谈，唯朝夕相见，一有酒食，就互相呼唤。诗酒唱和，感叹时事，在兰亭、禹穴一类古迹，探幽访胜，于鉴湖雅集泛舟。
到了咸丰十年的下半年，太平军纵横安徽、江西之际，英法联军，又攻陷天津和通州。
咸丰七年十二月，英法军队入广州。次年五月，清廷被迫签订丧权辱国的《天津条约》。九年五月，换约期到，两国兵舰齐集大沽口，为僧格林沁开炮击败。至咸丰十年六月，经修补整顿后的英法军舰又至天津，他们由北沽口登陆，反击大沽口炮台，于七月七日，攻陷天津，进逼通州。咸丰皇帝为了安全，避走热河。英军于火焚圆明园后，迫结新约而去。
当时局势，内外交迫，危如累卵；就绍兴郡城而言，也空有议论，不见任何具体的防守设施和策略。避难半年之久的胡澍，知绩溪已不在太平军手中，不由得兴起不如归去的叹息。
赵之谦刚刚送走胡澍一家，便得到绩溪战云密布的消息，想到好友此行安危，为之辗转难眠。直到十一月，才接到胡澍自金华附近的里郑来信，表示八月初三到家，未容喘息，战事便起。八月十一日，太平军又攻下绩溪。他把书籍、行李全部遗弃，只能携弟奉母，与眷口逃离战乱之地。现在是采薪自爨，过着衣不至骭，半饥半饱的日子。
咸丰辛酉（十一）年的春正，在危险疑惧的局势中到来。
往年过年，赵之谦多半到了急景凋年，才拖着满身疲惫回到家中。囊中所携，就是所积存的微薄收入。先与妻子范敬玉商议各项应偿的借贷，余者才为孩子添加衣物，准备度岁和人情来往费用。如仍有所余，便留作未来漫长一年的用费；自然，也要靠妻子四出借贷度日。
年后，赵之谦便带简单的行李、书籍和书画篆刻用品，重新离别妻女，步上征途。像咸丰十年这样，从暮春至年尾，阖家团聚一室的日子，几乎少之又少。
在居家的十来个月里，赵之谦放眼族中，长辈已凋零殆尽，兄弟行，有的困于烟霞癖，有的游手好闲，但多半与个性狂傲、长处于贫困中的赵之谦，鲜有往来。两位中过秀才的族弟，才华、气度，看来并不出色，一日战乱发生，他真不知他们怎样度过危机。
婚后十余年中，范氏所生男孩，全部夭折，膝下仅有桂官、赵蕙和赵榛三个女儿。由于膝下无子，范敬玉对族兄赵诚谦的九岁儿子寿佺，特别喜爱。不过，赵诚谦先人，曾经做过伤天害理的事，相信因果报应的赵之谦，对诚谦父子，似乎有些顾忌，并不怎样亲近。
这次居乡期间，赵之谦所交游者，除胡澍外，依旧是性情狂怪、僦屋卖卜的周白山及任过湖南安仁知县的傅以绥（艾臣、诗寿、莱生）——之谦称他“五丈”，及其弟傅以礼（节子，原名以豫）——之谦称为“十一丈”。傅氏兄弟二人，皆好藏书和金石。之谦远自咸丰初年，就不断地为他们刻姓氏及名号印，如：“清河傅氏”、“艾臣经眼”、“以豫”、“小字莱生”等。
潦倒科场的傅以礼，斋名“华延年室”，和之谦交游尤为密切，先后收藏印鉴多方，堪称赵之谦早期和中期篆刻的代表作。
错过原订咸丰十年举行的恩科会试（实际由于举人录取人数不足，并未举行），正科的会试期为两年后的壬戌年；傅以礼见之谦赋闲在家，坐吃山空，就建议他到地处东瓯的温州，找永嘉令陈宝善谋个临时差事。
范敬玉以时局混乱，家中人口众多，从此一别，不知何时方得团聚，要求之谦，举家同往温州，俾得祸福与共。
安土重迁的之谦，可能鉴于胡澍举家逃难，结果陷于进退维谷的处境，婉言劝止。他表示独自带着行李出门，进退能够自主，相约去去便回。敬玉听了，只好打消举家迁徙的念头。
由钱塘江、富春江、桐江溯流而上，沿途风景绝佳。赵之谦在船上赏景赋诗，丝毫不觉其苦。船过金华，陆行过桃花岭，再航向丽水，到达丽水东南的处州，之谦盘缠已经用罄。所幸到温州后，先遇旧友丁令威，称贷五贯钱救急。接着在永嘉邂逅任军从事的诗人江湜，解除了远游的孤寂。二人像半年来与胡澍那样，朝夕相处，讨论学术；经过一番整理、润色，就成了他流传后世的《章安杂说》。