咸丰九年（己未），浙江恩科乡试的试题是：“舜有臣五人而天下治，武王曰予有乱臣十人”。主司为甘泉汪承元，他认为赵之谦的八股文应为全省之冠，但因首艺简古，考官意见不一；竟被抑置为第三名，使山阴县的朱君庚得了解元。汪主司想起来就觉得遗憾。因此他回到北京之后，每遇到同列，就出示赵之谦的文章，称赞他的才华，以为典丽瑰奇，极一时之选。在汪承元不遗余力的表彰下，京中公卿，不但知道赵之谦的才名，也希望在明年春闱中，一睹这位浙江才子的庐山面貌。可惜的是，这年恩科乡试录取的举人人数不足，明年的恩科会试可能办不成，那就得等到三年后的壬戌科会试了。
耽于古文的赵之谦，虽然憎厌八股文，但并非不善于此道，远在少年时代，就曾和好友周白山合刻《誩》八股文集，识者评以“沉博绝丽”四字。多年来，他不仅是缪梓幕中的红人，如今又秋闱得意，前来拜会和他交结的人，络绎不绝。其中有一则传说，推测起于这一二年之内：
有位富户，姓罗，家藏书画无算，人称“罗万轴”。罗氏出身盐商之家，当时读书人多耻与交结。也许因为缪梓官拜盐运使的关系，赵之谦心中并无成见，尽观罗万轴所藏各种珍秘。据说从此书画大有进境。以他写给友人秦勉的信来印证，咸丰八、九年在杭州期间，确是他艺术发展的转折点：
弟在三十前后，自觉书画篆刻尚无是处，壬戌以后，一心开辟道路，打开新局。
自咸丰十年开始，他便迁徙流转，过着很不安定的生活。“壬戌”为同治元年，三十四岁的赵之谦，流亡到福州。次年定居北京，埋首于学术研究。如果说他在杭州时，饱观古印和书画，引起反省和检讨，过了二三年后，经过酝酿而培育出艺术的花果，应该是合理的推测。
事实上，咸丰八、九年间，他所留下的书画，有日益增多的趋势。例如咸丰八年九月，他为友人傅节子作花卉条屏四幅，上面录有旧作诗句。其中第一幅牡丹和第四幅梅花诗，最值得玩味。
梅花诗，是他诗集中最早的一首题画七绝，作于二十一岁，当时所画梅花已不可见，却在九年后重画重题：
老干槎枒酒气魄，疏花圆满鹤精神，空山安用和羹手，独立苍茫揽古春。
画面上，劲枝老干，像苍虬一般的古梅，衬上几笔淡淡的流泉与山石，题识中说是用李（复堂、懊道人）的手法，但泉石水墨淋漓，分明是徐渭（天池、文长、鹅鼻山人）的技法。无论就诗和画而言，二十几岁到三十岁时的他，早已步上金石画派的路途。
牡丹题诗为：
笔墨游戏，成花富贵，佛言苍生，亦复如是。
下面写：
田水月后吾谁与语。叔画“田水月”是徐渭的另一个号，也有人解释是把“渭”字拆开来写。可见赵之谦一方面谦虚地说自己三十前后，书画一无是处，另一方面又引徐渭为千古知音，现代人则无足与语。
咸丰九年，他为友人英叔、丁文蔚（上款的丁文蔚、英叔是否为同一人，不得确知）所作书画、篆刻总数颇多。五月前后，他为英叔和丁氏画花卉册多页。
牡丹、紫藤、金丝桃、梅、葫芦、鸡冠花……所包含的种类很多。牡丹图中题有年款：
富贵昌。英叔尊兄大人雅赏。己未五月，赵之谦记
葫芦图款中，提到丁文蔚送他萧山任熊（渭长）所画胡芦的事：
蓏有理，只依样。丁豹卿赠予任渭长画葫芦，戏作此，并题。叔这种见到葫芦画葫芦的即兴之作，可能受到任熊的影响。为了报答丁文蔚赠画，他应丁氏之请，为题任熊画于咸丰六年的《卅三剑客图》，除了逐图加题之外，并写了一篇小序：
……剑侠传抄撮《太平广记》成篇，其记载亦不伦，尤无取义。萧山任渭长以陈章侯且画水浒牌，仿之为此，像逋成而遽殁。其友丁蓝叔属蔡容庄刻以示余，且索题字，因牵连书此于卷端。每幅各系数言，少存予夺微言之意。当世揽者，综核本末，或亦有寒光逼人，空中刀剑击戛声也。
赵之谦的性格，一方面好奇，一方面又注重考据，因此他对《太平广记》玄虚而富想象的作品，在态度上颇有保留，觉得“记载不伦，尤无取义”。在题任熊的剑侠图时，也就“少存予夺微言之意”；带有批评的色彩。据说，当赵之谦知道《红楼梦》所表现的儿女之情，令一些多情读者神魂颠倒，茶饭不思，甚至有人为书中才子佳人而轻生时，他曾慨乎其言地说：
全部《红楼梦》第一可杀者即林黛玉！
由此，也可以看出赵之谦性格的一斑。
他在画给英叔、丁文蔚这些册页中，风格上包括仿元人、徐渭、李、李虬仲和张敔（雪鸿）等笔意，可见他学习的范围很广，并无一定的师承。大抵以属于文人画家的没骨花卉为主，在画史上，都是极具个性和创意的画家。
不过，这期间有位少为人知的画家张学广（孟皋），虽然在前述册页中，赵之谦并未提及，但他确实对赵之谦，乃至金石派的后进吴昌硕，有过很深的影响，尤其吴昌硕，几乎言必称“孟皋”。
张学广，北京人，也有说是天津人。身材高大，满面浓髯，一看就有燕赵慷慨悲歌之士的感觉。他像江湜一样，做个钱塘小吏——典史。后迁为嘉善主簿，管粮米之事。赵之谦在杭州期间，可能他已经退休。张学广为人清廉狷介，不轻易为人动笔，为了养家糊口，虽顶头上司要画，他也立索润笔。他来自北方，下笔劲力十足，所画人物、翎毛、折枝花卉，有陈淳（道复、白阳山人）的魄力，为徐崇嗣之没骨画法，设色强烈，松与石，则学宋人的墨法和骨力。张学广哪怕画些闲花野草，看起来笔画有如颜真卿的法书；对自幼习练颜体书的赵之谦而言，从心中引起共鸣。
咸丰九年，赵之谦在杭州所作，除前述绘画之外，尚有牡丹横幅、屏幅与册页多件，以及为友人谷卿行书六言诗，为绶卿书“入城无事不骑马；临水有时还钓鱼”的七言联，可谓丰收的一年。这年十二月，他刻“丁文蔚”白文印，款：
蓝叔临别之属，冷君记。颇似吴纪功碑。己未十二月这又是一方仿汉之作。在急景凋年的腊月，不仅丁文蔚要回萧山的大碧山馆与妻妾团聚，赵之谦也该返回绍兴大坊口，偿还一些债务，和家人共度新年。结婚十余年，所生男陔一一夭折，只有三个女儿承欢膝下。他常年在外，家中用度不足，使他对妻子有说不出的歉意。但这一年回家，恐怕也只是蜻蜓点水似的，稍事停留，便要赶赴北京，准备参加未来的春闱。
咸丰三年二月，洪秀全攻下南京，改江宁府为天京。随后，清军分别在南京城东明太祖陵所在地结江南大营，在扬州城外结江北大营，意图围困南京。
咸丰四、五年间，江北大营统帅琦善病卒，托明阿代领江北大营，攻打扬州。结果扬州得而复失，江北大营也一蹶不振，名存实亡。咸丰六年五月江南大营失守，两个月后，主帅向荣战死，太平天国南京之围等于解除。但太平天国内部诸王间，却矛盾加剧。
到了咸丰八年二月，清廷钦差大臣和春、提督张国梁，进围南京，重建江南大营。这时，率兵在外的太平忠王李秀成，想采取“围魏救赵”的策略，先攻打南京附近城镇，随即把目标指向江南粮饷所在地的杭州；目的是“攻其所必救”，用以分散江南大营的兵力，再回军一举击破江南大营。
李秀成进入浙江后，先遣堂弟侍王李世贤攻湖州，自己统率谭绍洸等将领，循着恩科乡试曾热闹一时的山间小路向杭州潜进。
杭州城中，在籍的兵部侍郎书画家戴熙（醇士），已虑及这种暗度陈仓的可能性；新任浙江巡抚罗遵殿，想要采纳戴熙意见，派兵驻守奉口一带小径，但尚未来得及施行，二月十九日，李秀成军队便已抵达杭州武林门（北门）。
在此稍前，罗遵殿曾飞书向江南大营统帅和春求援。这时，请假养病的前浙江巡抚何桂清，已调升为两江总督，其亲信前杭州知府王有龄，则迁为苏州布政使。缪梓也请和春代为谘请何桂清，希望能就近调黄池湾沚各营兵力，及调返以前由浙援皖的部队回浙救杭州之危。不过，何桂清不但没有调兵赴援，反而责备罗遵殿和缪梓，指浙江平时疏于设防，反而希望邻省（按：指安徽、江苏）弃地与太平军。
罗遵殿无法，只好先派驻守杭州的总兵李定泰，北救湖州，对抗李世贤。唯仓促出军，很快就被李世贤击败。
当二月十九日杭州被围时，城内只有四千多杂牌部队。单是杭州城堞，就有四千九百多个；一个垛口竟连一个兵都分配不到。
杭州百姓猝遇变故，传言蜂起。
总兵官率军救湖州，音讯杳然，城中有作战经验的官员，只缪梓因援助上海和守衢州为罗遵殿所依重。正在一筹莫展中，出守独松、千秋关的段光清率满洲兵回援，且战且走，于二月二十日，杀透重围进入城中。此外，又调来宁绍台道孙仲懋，率兵入援，守军才略有所增。
再过三四日，外地也有些援军开来，但问题丛生：有的援军半路被外地官员拦了下来，改派其他任务。提督米兴朝，赴援途中，纵兵掠劫，为民团所围。
李定泰自湖州率残师回援，结果和冲出民团的米兴朝一样，为太平军所阻，接近不了杭州城。
这时，江南大营的统帅和春，奉命兼办浙江军务，职责所在，乃遣提督张玉良，统率几路军马救援杭州。这原是“救兵如救火”的急事；但，路过苏州的时候，张玉良却被布政使王有龄请去喝酒。酒过三巡，王有龄劝张氏不要援助杭州，不如分兵驻守湖州和嘉兴，巩固苏州的门户，张玉良虽然没有接纳，但也拖延到次日阅城置守后，才缓缓往杭州进行。二月二十六日，张玉良的副将向奎，率前锋一千五百人，经海宁县抵达杭州城，城中人怀疑是否真为援军，为安全计，未敢下令开城，令其屯军观音塘。
在杭州城危如累卵之际，城内的矛盾也正在加深：
以讲学为闾里所推崇的部郎邵懿辰，一次又一次地找主张固守待援的缪梓理论，主张应开城急战。又争论哪些单位军人是太平军派作内应的。缪梓对邵懿辰解释，邵氏反而出言不逊，缪氏下逐客令，他也不走，使缪氏倍增困扰。事实上，军民相仇，也确有一触即发之势。
“屋漏偏逢连夜雨”，对当时的杭州形势而言，倒是恰当不过。
暗夜中，缪梓遣死士，缒城而下，想烧毁城外太平军的营垒，却因雨大，纵火不成。发兵突袭城外太平军，也无功而返。
一边靠海，一边滨湖，南北狭长的杭州城，南面因山而筑，地势险要。缪梓亲自担当固守西南方雷锋塔附近的清波门重任。从围城日起，他就和衣宿于城上。
城外的太平军，一开始就登上清波门外的馒头山，用随军所备棺木叠成堡垒。趁夜取南屏山净慈寺的罗汉像，让“他们”手执军旗，环叠而立。城上守军误以为是敌人，开炮猛轰。真正的太平军却踞高临下，对城中射击，弹落如雨，使守军心胆俱裂。
当霪雨不止的时候，太平军又在清波门外西竺庵和戚家园挖掘地道，日以继夜地金鼓齐鸣，既扰乱对方军心，又可以掩护挖地道工程的进行。缪梓和另一位懂军事，丁忧在家的绍兴府照磨陈奉彝，都看出了太平军的计谋，缪梓于是命仁和县令李福谦督兵依山修治内壕，用守衢州的方法，截断太平军的地道。但因天雨土松，无法施工。
二月二十七日早晨，天雨忽止，缪梓立刻传令集合军队，准备施工。忽然地雷爆发，清波门城崩数丈，太平军一拥而上。缪梓麾兵截堵，身边仆人卫荣见势头不对，牵着衣裾请缪梓速走，缪氏大叱：“若可走，我死此矣！”
转瞬间，不但缪梓受伤数十处，卫荣脸上也中了一矛，当他倒地装死时，见混身是血的缪梓，依然立在那里，像在指挥军队，接着轰的一声，右足被火枪击断，才仆倒在地。有位佣卒丁春汉，也战死在缪梓身边。同殉者，尚有守备孙遇龙。
其余巡抚罗遵殿以下文武官吏，自杀及战死者无数。这一天城中仍有巷战和零零星星的抵抗，满族将军瑞昌和副都统来存等，死守住杭州城内的满洲城，因此城内只剩满洲城没有攻下。
二十八日，太平军悉数入城。在籍的兵部侍郎戴熙、戴煦（鄂士）兄弟，在自尽之列。
待张玉良率大队援军到达杭州，杭城已破，城上遍插李秀成的旗帜，玉良不敢抢攻，退到四十里外的塘西屯驻。
城上的太平军，见打着“张”字旗号的清军来到城北的武林门，以为是江南大营的张国梁提督到此，即分江南大营兵力的目的已达。李秀成遂采用类似诸葛亮的空城计，使瞽者在杭州城内巡夜击梆，城中一片寂静，毫无乱象，以为疑兵。实则他已趁夜全师而退，往袭江南大营，解南京之围。
三月三日，援浙提督张玉良，不费吹灰之力，立下收复杭州的功劳。在两江总督何桂清的拔擢下，诏命苏州布政使王有龄为浙江巡抚。
当缪梓家仆在受创的卫荣指引下，从尸堆血泊中寻到缪氏尸体时，军从事江湜当场痛哭失声，归赋五律一首。
由于捻军和太平军，相互联络，纵横各地，从江南往北京之路，处处相隔。被缪梓待以国士的赵之谦，早在一个多月前，就该到达北京。但只到江苏省淮阴县的清江浦，路便中断。他转身南返，船到海宁县的长安镇，见街巷气氛紧张，一问才知道不远的杭州已经被围，那天正是二月十九，杭州被围的首日。他再返走嘉兴、澉浦，泛海回到绍兴府的余姚县，便见散兵游勇络绎于途。随后遇到在衢州时的熟人——宁波林彪，始知不但杭城已陷，盐运使缪梓在清波门殉职，也微闻某些人死难，某某人开城逃走的消息。
回到绍兴后，听缪梓长子德芬、次子星遹泣述攻防战及缪梓死难的过程，大概只能用心如刀绞来形容之谦当时的心境，而真正见到缪氏殉职的全部经过，则为负伤归来的仆人卫荣了。