士别三日，当刮目相看。
但，人们却常为误解和成见所蒙蔽，对久别之士，不仅不能刮目相看，在心理上，似乎也不愿刮目相看。
年轻、疏狂、为生活而搏斗，而至举债度日的赵之谦，在省城杭州虽然受到缪梓父子和幕友的器重，与名篆刻家钱松、青年学者戴望、特立独行的曹葛民等交往，生活也在改善之中，可是某些乡里人士对他的曲解和成见，并未改变。与他有中表之亲的李慈铭，就是很好的例子；他对赵之谦的观感，道光与咸丰年间如此，即使一二十年后，赵之谦声望已誉满京师，卿士大夫以能得到赵氏片纸只字或一方印章，足以炫耀于宾客的时候，李慈铭依然对他痛加抨击，并记入他的《越缦堂日记》之中。非仅如此，他对赵之谦所结交的友人，和拜门的师长，也加以批评和排斥。
李慈铭始终称赵之谦为“天水生”、“赵妄子”，他说：
天水妄子不通一字，而好为大言，自补诸生，即交胥吏，遂夤缘入绍兴知府缪梓之幕，梓子某者，亦亡赖，妄子媚之无所不为，又称弟子于宗涤翁，日与其门下款曲，屡乞贷于人。
咸丰二年，缪梓以办理海运功补绍兴知府，可能未及赴任便奉檄到上海助战。李指之谦此时入幕，恐怕不确。倘之谦此际为缪梓幕宾，其生活情况也不会像除夕赠周白山诗中所描写的那么凄惨。
宗涤甫，名稷辰，是绍兴蕺山书院的教席，又创四贤讲社，招致英才加以培植，李慈铭和赵之谦，都列于他的门墙。李慈铭也认为他是硕果仅存的越中耆宿，读书人的典型。却因为桃李之中有了赵之谦和周白山，而予以苛评：
晚居里，其门下又为周白山、赵之谦辈，皆妄诞不学；一生无良师友以相切磋，所就遂仅至此。
此外，如赵之谦幕友胡澍及前述浙江德清县儒士戴望，皆被学界认为是一时之选，李氏也予以排斥。
宗涤甫斋名“躬耻”，有《躬耻斋文集》行世，文章颇受欧阳修、曾巩的影响。咸丰二年四月，赵之谦为刻“躬耻”斋名朱文小印，边跋：
涤甫夫子大人正。壬子四月，受业赵之谦记此印是赵之谦流传下来的，年款最早的一方。既可见出他二十四岁时治印的功力，也可以见出他与宗涤翁的师生情谊。
赵之谦学印的过程中，二十四岁是个转折点，所以“躬耻”小印，应该是他一生篆刻的里程碑之一。
赵之谦自幼便能书画篆刻，到了青年时期家道中落，三餐不继，虽值寒月，仍旧只穿一袭单衣。用以自娱的书画篆刻，遂成了养家活口的工具。
各种艺术之中，他先着力于书法和《说文解字》等文字学的基础。博览唐宋元明真迹以后，眼界大开，书法精进，再以篆和八分笔意作画，逐渐显露出独特的风格。又把书法功力运用在篆刻方面，也就是他后来所标榜的“使刀如笔，视石若纸”，兼以见闻益广，才开辟出新的印风。
除了诸艺相通的系列发展、交互影响之外，单就青年时期治印风格的演变，赵之谦也曾加以透露。
他在《杭四家印稿》序中，说他早年学杭州印人陈鸿寿（曼生）印风，成年后，知道陈印过度放荡破碎，看似英迈豪放，但缺少含蓄，遂开始改变学习的对象。他二十四岁到三十岁左右的风格，以仿汉印为主，仿近代浙、皖两派次之。浙派中，赵之谦选择了丁敬（钝丁、龙泓）和黄易（小松、秋盦），他认为二人的造诣，直接秦汉，旁通各家。皖派中，则专学邓石如（完白、顽伯），尤其邓石如近于六朝的朱文印，更使他心醉；他为宗涤翁所刻“躬耻”朱文小印，就有学习邓石如的意味。总之，这时期，赵之谦已体会出汉印与六朝印的妙处，他所选择浙、皖两派的几位印人，主要也要学他们对秦汉六朝古印的诠释。
咸丰五年正月，缪梓奉旨开缺，以道员补用，又因上海战功，吉尔杭阿上报朝廷，春旨缪梓赏戴花翎。但，这已经是缪梓政治生命的最高峰，随着言听计从的黄宗汉巡抚高就，新巡抚何桂清走马上任，缪梓的宦途，就不像前几年那样顺利。
黄宗汉，福建晋江人，道光年间中进士，授主事之职，累迁为浙江巡抚。是时，太平军已占据南京，建立太平天国。黄宗汉命军队严加防守，阻扼太平军从江苏、安徽进入浙江，尤其注意保卫江南粮饷所在地——杭州。黄宗汉以功调升为四川总督，知音远去，缪梓顿感孤单。
何桂清，昆明人，咸丰年进士，曾督学江苏，桂清以弹劾封疆大吏，言语切直为朝廷赏识，拔擢为浙江巡抚。上任后，何桂清立刻调闽县人，贡生出身的的王有龄为杭州知府，调缪梓为杭嘉湖道，兼盐运使。
盐运为民生要务，多年来盐枭猖獗，弊病丛生，但缪梓所提出的各种盐政革新计划，却不为何桂清所接纳。
咸丰六年春天，缪梓改署为按察使，奉命到浙江省西部的衢州督军，防止太平军翼王石达开从江西的抚州、建昌等地进浙江。“上阵父子兵，打虎亲兄弟”；这时缪梓父子和赵之谦、胡澍等幕友，由平时的办理事务、研讨学术的团队，一变而为战斗的团队。只是奉命前往督军守土的缪梓，所带的兵只有七百五十人，所分配的事权，也很纷杂，给人一种不堪一击的感觉。
六年八月，当石达开攻打江西广信府时，知府沈葆桢向浙江求援，另一领兵官饶廷选从两省交界的玉山拔营赴援，只留五百人守玉山。随后，饶廷选竟不顾浙江安危，想连五百人也调往江西。缪梓考虑这样孤注一掷，全力开往江西的结果是：
浙军援江西，独不留一军顾浙乎；后劲失，贼袭之，广信未必安，浙危矣。
因此坚持要守住浙江咽喉，浙、闽、赣三省交界的玉山，以免三省同时陷入危局。结果，竟遭到何桂清传檄严斥，指缪梓拥兵自重，不顾大体。并有传言，广信若失，缪梓将有不测之祸。所幸不过七天，广信围解。何桂清因病去职，也使缪梓减轻了内外夹击的压力。
新任浙江巡抚晏端书，奏补缪梓为金衢严道的道台，调饶廷选为衢州镇总兵。
衢州为浙江的上游，太平军如果沿江而下，很快就会进逼地处钱塘江口的绍兴、杭州等重镇。咸丰七、八年间，驻守常山、衢州一带的缪梓，常以有限兵力，受石达开数十万大军的压力，大小战役无数。最危险的一次，是八年春天二月开始的衢州城保卫战。
太平军连营两百余里，衢州四周的城镇如常山、开化、遂昌、处州、永康、金华等地，尽入太平军手中，衢州城成了一座孤岛，外面虽有援军，但太平军营垒，烧了又立，不绝不尽。缪、饶二人合守了九十一日，大小激战数十次，太平军五次挖掘地道想潜入城内，均被在城内筑壕的方法，截断通往城内的地道。到了四月，各路援军逐渐聚集，太平军也粮尽力疲，才趁夜解围而去，四周城邑也复归清军之手。清廷嘉许缪梓守城有功，赏加三品按察使衔。约八年秋冬，缪梓重返杭州，调署按察使司，再署盐运使。咸丰五年，赵之谦曾和周白山到西湖西岸的岳王庙，凭吊忠魂，所赋《岳忠武王祠铜豆歌同双庚作》长诗，至今犹可忆诵，现在他又可以泛舟苏堤，凭吊岳墓了。
从咸丰六年到八年，有三年期间，赵之谦随军驻在浙江上游一带的常山、衢州和江山。由于咸丰十一年绍兴为太平军所据，赵之谦留在家乡的文稿尽毁，有关这三年的军旅生涯，只能从他片片段段的回忆中追寻一二。
同治元年，在福州和友人魏稼孙诗中，有：
忆昔从军岩衢口，奋臂大呼瞻马首，两年一再涉洪波，壮心挫尽惟哀歌……
前二句忆写守衢州战况之激烈，后两句述家乡被太平军占领后，由温州航海到福州的冒险犯难。
某友人由温州赴衢州时，又使他想起当时情景，在赠别的七律中写：
意外功名须共勉，眼前忧患即同流，三衢倘遇生归友，为道愁人总替愁。
可见他对衢州战况惨烈，数年后仍难忘怀。
咸丰七年四月，赵之谦为幕友胡澍刻“安定”二字朱文印，是他仿六朝印的合意之作。七年后，与胡澍在北京相遇，回首前尘，恍然如梦，其时之谦妻女已亡，孑然一身，感伤之余，挥刀补刻边款：
此丁巳四月在常山□中作，迄今癸亥七年。千军万马之间，九死一生之后，故人无恙，旧作犹留，而家□漂□长□者，皆不返矣，愁哉！十月二十四日重记。
至于随缪梓驻守金衢严道的过程，则在咸丰十年秋天的《缪武烈公事状》中，有整体性的叙述。
三年岁月，虽在战地度过，但，赵之谦刻印、题画、写字等艺术工作，并未因而中辍。
几年中，他为山阴明经，也是金石书画家的何澂（竟山、传洙）所刻的印，不但多，且在边款上表现出重要的篆刻理念。
咸丰七年刻的“何传洙印”，款识中充分表现出他对汉印的深入理解和尊崇：
汉铜印妙处，不在斑驳，而在浑厚。学浑厚则全恃腕力；石性脆，力所到处，应手则落，愈拙愈古，看似平平无奇，而殊不易貌。此事与予同志者，杭州钱叔盖一人而已。叔盖以轻行取势，予务为深入法，又微不同，其成则一也。丁巳冬十月，冷君识前录款识中，“冷君”是赵之谦此际所署的号，“叔盖”是指杭州书画篆刻家钱松。钱松字叔盖，在浙派篆刻家中，极受赵之谦的推崇，并引为知音。钱松五十开外的年纪，他的次子钱式（小松），虽只十一二岁，看来聪明绝顶，颇能传其家学，只是体质稍感纤弱，跟赵之谦似乎很有缘分，相当亲近。
从这则边款中可以见出，汉印是赵之谦学习的最高标的；他学浙皖前辈印法，目的有二，一是冶浙派的奔放、皖派的平实含蓄于一炉，二是透过浙皖前辈大师，深入地体会汉与六朝印法的神髓，以矫正当前印坛但求奇异和放纵的歪风。谈到他与钱松，正有一种舍我其谁的气度。
赵之谦又为何澂刻“镜山”朱文印，自然，是间接摹仿六朝的印风，他叹息人们只知浙派中陈鸿寿、赵之琛的放纵印风，不解古意，在款识中刻：
越中自童借庵，家芃若后，知古意者益鲜；此种已成绝响……真乃不知有汉，何论魏晋者矣。为镜山刻此，即以质之。丁巳十月，冷君此外，尚有“竟山画记”、“何澂心伯”、“竟山拓金石印”、“臣何澂”等印，都刻于这三年或稍后时段。
知道他致力于汉印，也有人指定他刻此风格的印。尽出汉印供他欣赏研究的藏家郭止亭，自然是他急于报答的对象，他刻“止亭所书”白文仿汉印，作为这位老前辈钤在法书上的闲章。和他相交多年的缪梓次子星遹，毫不见外地请刻“星遹手疏”四字白文印，款：
稚循书来，属仿汉印，叔刻此，乃类吴纪功碑。负负！戊午十一月缪星遹身材清瘦，给人一种弱不胜衣的感觉。兄弟六人中，他与之谦最先认识，也最为投契。星遹学问渊博，兴趣不在功名，雅好金石。一次，赵之谦在他书斋案头见到一方印石，把玩不忍释手，乃效古之名士，攫了便走。唯恐被讨了回去，立刻奏刀，刻成白文名印，以示永远据有，并在边款中，记下这段趣事。
在这几年间，他对汉朝小印，也有了特殊心得和进展。如，款“清河傅氏”朱文印：
模汉人小印，不难于结密，而难于超忽，此作得之。
题“以绥私印”印：
作小印，须一笔不苟，且力浑厚，前五年尚不到此地步也。撝叔为艾翁刻由之可见，他对在篆刻方面所辟的新途径，充满了信心。
咸丰朝后半，战乱频仍，转徙流离，赵之谦所留的书法，十分有限。咸丰八年四月的正书《宋岑公洞题名》，四月二十三日为友人琴子所写的楷书旧作诗，不仅在早期书法中硕果仅存，值得珍惜，其中有几首诗且为他诗集所未刊，从中可以看出他青年时期的诗风。咸丰九年八月，为萧山青年秀才丁文蔚（蓝叔、韵琴）行书《大碧山馆诗》，写于乡试前夕，更是他生命中的一个重要里程碑。
丁文蔚，萧山人，是位年轻俊秀，家境富裕的书画家，花卉颇受陈白阳和恽寿平的影响。篆刻像赵之谦一样，沉醉于汉人的古拙之趣。连家中侧室，也是花卉高手。赵之谦结识丁文蔚的时间，与缪星遹先后之间，经过七八年后，丁文蔚像他一样已渐入壮年，只是少年时的豪情依然如故。重逢后，文蔚先请之谦题《大碧山馆图》，之谦题后索性题长诗一首，既咏山馆清幽，也兼抒沧海桑田的感慨。
咸丰八年，赵之谦随缪梓幕返回杭州之后，缪梓向他提及一位前一年来浙听候分发的小官江湜，但他们并未相见。数年后始在温州相遇，他们不但由神交成为好友，并结为患难与共的异姓兄弟。
江湜，江苏长洲人，字弢叔，大之谦八岁。缪梓极力称赞他的干才，并重视他的文才。
江湜远自少年时期，父亲便把全部藏书交付给他。他索性放弃举业，整个沉浸在书海之中，几乎无书不读。但他最感兴趣的则是文学；尤其对于作诗，更是孜孜不倦。青年时，曾游北京、山东和福建等地，对于古籍见闻更广。秘藏诗作，常使他所敬重的长执，大为诧异，爱不释手，甚至能背诵他全部的诗作。一位以诗闻名的神童，读过他的诗后，自愧不如，尽焚自己前咏诗篇，后来另治他业，不敢再赋诗了。唯这时的赵之谦正准备咸丰九年八月的乡试，想尽力一搏；一时尚无缘与江湜交往。
到了九年夏天，西湖堤柳一片深绿，苏堤第六桥畔荷花刚刚开放，杭州城内外考试的气氛相当浓厚。赶来乡试的人潮，日见汹涌。
不同往昔的，这次是恩科乡试，赶考士子不限浙江一省。数年来，江南许多地方为太平军占领，这些地区的乡试无法定期举行。朝廷为了维系民心，拉拢人才，遂举办恩科乡试，除浙江生员之外，江南多省士子，皆跃跃欲试，寻求功名。
从安徽省的广德到浙皖边境的鄣吴、安吉、武康，一路由西北往东南行，经上陌、奉口，有条小径，可达杭州。这是一条很少行人的山间小道，由于节省里程，赶考期间竟变得络绎不绝，十分热闹。
赶往杭州的人群里，除了秀才和家童，更有赶闱场做买卖的小贩。文房四宝、四书五经、模范考卷乃至各地土产，骡马脚夫、行医卖卜者流……几乎应有尽有。而太平军的耳目，乃至少数高官，经过伪装，也混迹其中。
到了秋天八月，杭州城和西湖一带，呈现异样的繁华，但也成了危机四伏的城市。