经过十三天风雨中的艰苦旅程，赵之谦于六月底或七月初到达永嘉。一进入温州边界，风定雨止，之谦觉得是个好兆头；在七月四日平安信中告诉锡曾：
其中皆有天也。
五个月后，他在诗中回忆过了闽浙交界的分水关后，最后一段途程，和与患难好友重聚的欢愉：
中途识钱仓，水石仍清泚，十月过永丰，诗记斜阳紫。侵晓入郡城，群为我倒屣，文字缘与续，军旅事未已……
——《将去温州述怀六百五十字》
在欢聚中，知道此间人事的倾轧、嫉妒和猜疑，与他上年冬离去时，并无两样，不禁感到悲观和忧虑：
途中懊恼，得诗颇多，俟后录寄。此间虽安，然以庸忌能，酿为祸毒，事无可为矣；弢老悉知之。
他在给魏锡曾的平安信中写。
途中，之谦经历了日间酷暑，夜间严寒，风雨浓雾变幻无常的天气，冒着崎岖山路间被盗匪、散兵游勇掠劫的危险，平安抵达永嘉，应属万幸。实则三、四、五数月之间，温州一直处于太平军围困之中，每次解围未久，平阳、瑞安和永嘉城外，又是遍地营垒。不过近时战线已经西移到松阳和处州一带。倘在重围期间，之谦只身前来，不免冒被俘之险。
之谦在闽浙道中的六月二十与二十二日，清军又连克连营百余里的松阳及宣平太平军，使金华、兰溪和处州一带的太平军，形成孤立态势。
这一切情势的转变，当源于左宗棠任命为浙江巡抚，及闽浙总督庆端主张援浙所致。
咸丰十一年十月末，杭州第二度被太平军攻取，宁波、绍兴、台州随之尽落入太平军手中。由承德回銮不久、垂帘听政的两宫太后，任命湖南左宗棠为浙江巡抚，主持全浙军务以图收复。
左宗棠鉴于往日浙江虽富钱粮，却多用以支应江南、北两大营军需，想藉大营兵力屏障杭州，浙江兵力反而不堪一击，军饷也无法如数发出，使军心涣散，因此就任后，乃积极整编军队，裁汰老弱，筹划饷源。又以加强训练、分明赏罚、募集补充兵员等措施来强化战力。
闽浙总督庆端，认为处州、温州一带，与福建接壤，犬牙相错，唇亡齿寒，力主援浙，乃调动福建之将如前陕安镇总兵秦如虎（啸山）、籍隶台湾雾峰的林文察提督，及福建水师到温州，庆端亲自督导指挥解围和反攻。
主攻处州的部队，为林文察和秦如虎两支人马。赵之谦来温，即应秦如虎和永嘉令陈宝善之邀。
秦如虎久闻之谦知兵，有三年对太平军实战的经验。上年金钱会攻瑞安，之谦襄助守城，也使如虎称赏不已。因此一到温州，见之谦阮囊羞涩，就加以资助。礼遇之隆，信任之深，赵之谦比拟唐朝中兴名将郭子仪（汾阳）之待李白（青莲），明朝抗倭主帅胡宗宪（梅林）之待文士徐渭（文长、青藤）。
依清史记载，这场处州收复战，于七月上、中旬揭开序幕，在闽军各路进击，文察、如虎抢攻之下，七月十九日便告结束。
之谦以乐观的心情写信给魏锡曾：
然此次到温，独承秦啸山军门赏鉴，以其穷也，首先资助；虽不敢比郭汾阳、李青莲，或不致逊胡梅林、徐青藤耳。啸翁并以去岁瑞安守城功，不得列保，大为扼腕；特为之附名温州解围、处州克复案以奖慰之。此局成，不患无出路矣。
——尺牍通三九
不过赵之谦想象中的楼阁，很快就崩塌下来。
处州之战后，庆端调为福州将军，以广东巡抚耆龄代闽浙总督。推测，秦如虎也可能以温州任务达成，调离浙江。能识拔他的知音远去，温州格局依旧陷于他在七月四日给锡曾信中所说的“以庸忌能，酿为祸毒”的境地，依然是“事无可为矣”的长叹。
更令赵之谦愤愤不平的是，在瑞安成立不伦不类的白布会，与金钱会互相仇杀，酿成地方巨祸的侍讲孙渠田，竟以收复处州有功，受到观察志勋的保举。
孙渠田在地方交通官府，以团练为名，干预公事，县官畏惧，知府、道员，对他也多顺从。乃兄孙琴西为安庆太守，更壮大了孙渠田的气势。处州之战后，观察（后补道台）志勋受孙氏请托，不得不捏造事由，向上宪禀称：
当带兵赴处时，侍讲自募土勇三千，驻南溪策应，大张声势。
——《章安杂说》则二三
孙渠田无子，蓄有四位小妾，平日争风吃醋，扰攘不安，孙氏要调停其间。处州之战，据赵之谦所知，孙渠田正在为眷属张罗迁移，并未离家，更未入处州一步，甚至有位李希郊知府求救，他坐视其亡，却平白得了驻勇南溪的策应之功。此外，受保举的仅志观察随员六人；而秦如虎对之谦的保举，到了上宪手中，却付之流水。
失去保举的机会，随之而来的是传言和毁谤；之谦在《去温州述怀六百五十字》中写：
是非本无方，道德来谤毁。
由于文献所限，无法确知是非与毁谤的内容，只知有功不赏和受谤，加以人事的不断倾轧，使之谦又寒心又绝望，决心再度求去。
生逢尧舜君，不忍便永诀。
悲盦居士，辛酉以后，万念俱灰，不敢求死者，尚冀走京师，依日月之光，尽犬马之用。不幸穷且老，亦愈乎偷息贼中，负国辱亲；刻此两言，以明其志。少陵可作，未必恶予僭也。同治元年闰八月十日记从印文与识中，隐约可以见出之谦所受到的毁谤，可能和他上年冬天，永嘉局势日紧，城门关闭之际决心乘轮赴闽有关。此外，六月下旬，他才从福建返温州，参加最后一役，也可能是招忌的原因。
殊不知四、五月间，他在福州不但遭受妻、女病逝噩耗的打击，更重病在身；最后在陈宝善和秦如虎的力邀下，冒险奔赴温州战场。此前对温州危急混乱的局势，他仍在猜测，并无确切的讯息。去温述怀诗中，引述陈宝善以十纸长信坚邀，和秦如虎一再郑重礼聘前往温州襄助军事的往事，即在表明他无意于分别人之羹。原意不过临危赴难，尽朋友之义而已。
处州战后，赵之谦人在永嘉，心念北京：
故盐运使缪梓殉职后受诬，含冤九泉已达两年半之久，他急欲赴都察院诉冤。以免拖延再久，杭州人事全非，真相益难调查。
三年一度的会试，他已错过了壬戌科（同治元年），万不能再错失了乙丑科（同治四年）的抡材大典；因功保举无望，他只有在会试和殿试中，寻求前途。
在等待洋轮北航期间，之谦唱酬、绘画、治印、授徒，以填补心灵的空虚和失落。
其中，以篆刻收获最丰，继在福州半年的经营之后，迈向了篆刻创作的新高峰。所收弟子虽仅钱式一人，他深信是可以传他刻印衣钵的一时之选。
永嘉虽有陈宝善、刘焞、孙渔生等旧友，相与唱酬，但结拜兄长江湜仍然留在福州，使他不无落寞之感。
刘焞，字拙庵，前在桐乡佐理县事，有惠政，近日将往黄岩县赴任。
浙江台州府的黄岩县西有黄岩山，又称仙石山，有神仙传说，风景幽胜，仿佛世外桃源。
魏锡曾携眷逃难福州，途经其地，可惜当时妻子得了风寒，又悬念留在故乡的兄弟和慈母，无心畅游，引以为憾。赵之谦前在温州，也曾和钱子奇相约，待局势平安，前往一游，言犹在耳，但此际一心北上，黄岩之约恐难实践。感慨之余，赋诗为刘焞送行：
诗人循吏名在口，何意东嘉来聚首，画兰不学顾横波，但折芳馨补九歌。衙斋清闲几净拭，素纨甫请君加墨，忽传竹马已争迎，直欲去思碑我勒……
之谦此诗，用的仍是答魏锡曾索梅花韵，他依此韵所赋，已积至十五首之多。
八月十七夜，一轮明月皎洁得不下于中秋的夜晚。江心寺辉煌的灯火，使过往船家，不知这双塔耸峙的古寺，在举行什么盛典。
赵之谦偕数位好友到江心寺中为新任黄岩令刘焞饯行。负责孤屿守备任务的严紫卿也邀来一起饮宴。
几位好友向信国公文天祥祠礼拜之后，登楼作歌，摩挲残碑，瞻仰文天祥的遗墨，感叹一代代山河变故；近数年间的战乱，使江心寺成了游人的禁地。
在涛声、江岸笛声和风声交相鸣响中，一行人寻诗觅句，开怀畅饮。虽是仲秋，酒力发作后的之谦，因体质特异，汗下如雨。带着醺醺酒意又依索画梅韵，连赋三首饯别诗。想到在战争中几次出生入死，却无尺寸之功，不知多少回送人走马赴任，自己似乎永无立锥之地，不由得感慨万端：
燕然谁可告功成，孤屿尚容题字勒。为治但期民扰驯，论交不负平生因。送人作郡我亦惯，鬼不揶揄犹畏人。
不多日前，继病疮后，患过疟疾的刘焞，经过通宵达旦的轰饮，在孤屿晓雾中，步履蹒跚，有如涉水渡波，一句话尚未说完就呜呜地唱了起来。之谦见了，再叠前韵，赋诗一首。
“众人皆醉，而我独醒”；面对烂醉如泥的诗友，想到处身乱世的孤独与悲凉，他写：
糟醊醨从君后，此日独醒能几人！
——《拙庵连日醉二十二叠前韵调之》
落寞、孤愤，并亟思摆脱地方倾轧的漩涡，是这一时期之谦诗作的基调。
之谦由福建返温州后，书、画遗迹有限。
八月，行书《海岳书》数语。
“海岳”为北宋书画大师米芾（元章）的号，之谦在跋中表示，此数字不知海岳题于何处，也不识其文章体格，甚至根本读不成句。
不过，从这幅字中，可以见出之谦此际行书之行气和笔致的酣畅。
闰八月，隶书《张衡灵宪篇》四屏，书无上款，不知所赠何人。
十月，为锡曾临《瘗鹤铭》，仅吉光片羽的十个字。
值得一提的是，他九月应钱松次子钱式（次行）之请，采用他在篆刻、书法及人品多方仰慕的邓石如篆书法，写绎山碑达十叶之多。
册后行书款中，批评古刻本之拙恶，盛称近人在篆书方面的成就。邓石如、吴熙载、好友胡澍之外，之谦在谦逊中，也大有除此数子，舍我其谁的气概：
我朝篆书以邓顽伯为第一，顽伯后，近人惟扬州吴熙载及吾友绩溪胡荄甫。熙载已老，荄甫陷杭城，生死不可知，荄甫尚在吾不敢作篆书；今荄甫不知何往矣！
钱生次行索篆法，不可不以所知示之。即用邓法书绎山文；比于文宝钞史或少胜耳。
同治元年九月悲盦
之谦遗迹中，有咸丰十一年为陈宝善所作《瓯中草木图》四幅。另有《闽中草木图》四幅；第四幅款署：
蕺子七兄之官江南，索画志别，杂图闽中草木与之。之谦记
但，观画中铁树、金莲、风痴草等物，与《瓯中草木图》中物，少有差异。此外，《闽中草木图》并无年款，只写是友人之官江南，用以志别之作，显系同治二年后寓居北方时所画。
有趣的是，同样无年款作品中，有幅他为魏锡曾之子本仁（性之）画的扇面。一个鲜活的萝卜，两个薯蓣，不过一般农村的菜蔬，而题跋中却显示出某些福建地区的风俗：
莱菔能消薯蓣补，以之果腹皆有取，乡民向我偏自夸，老死惟知有地瓜。
闽人有终身不谷食者，地瓜山蓣均呼番茹。性之大世兄正。之谦记。
福建某些乡村，是否有人如之谦所说的终身不吃谷类，山蓣萝卜不分，一律叫做“地瓜”或“番茹”，恐怕只有当地人或熟习闽地风土人情者，才能证实。