温州及其属县瑞安、平阳一带，旧称“东瓯”和“章安”。府城永嘉，位于瓯江南岸，风景秀丽，港埠繁荣，温州镇总兵和温处道台官署，均设于此。城北江心寺的双塔，更是驰名远近。赵之谦至此，离家已有千里之遥。风土人情，乃至动植物，和杭州、绍兴一带有很大的差异。好奇心强的他，立刻投入其中，诗咏、笔记之外，更挥动彩笔，加以描绘。
他到达永嘉的时机，似乎晚了一点，永嘉令陈宝善，极重之谦才能，有意重用，无奈只能在永嘉南方飞云江北的瑞安小县，为他谋个军幕。之谦到差后，很快地就从飞云江南岸的平阳县城，嗅到了极度不安的气息；他知道，他正进入一个暴风圈之中。好在他时常来往于瑞安和永嘉之间，联系公务，与两地友人切磋唱酬，解除思乡情怀和客寓的岑寂。
在瑞安自然环境中，使赵之谦最感无奈的，是毒蛇、老鼠、蚂蚁和无所不在，无坚不摧的“风痴”。
数不清的毒蛇，伏于丛莽之中，伺机啮人，成了挥之不去的梦魇。昏夜之中，狡黠的老鼠，到处横行，毁损箱笼衣物，偷吃食物，使人难以安寝。
有趣的是，蛇与鼠却又互为克星。经常是，狡鼠潜入蛇洞，偷食蛇卵和初生的小蛇，等到毒蛇蹿出追鼠，鼠又藏得不知去向。之谦以哭笑不得的笔调，描写人与毒蛇、黠鼠的三角关系：
啮人科蛇罪，杀蛇与鼠恩，昏夜集忧患，市井同愁怨。捕蛇必劾鼠，此狱乃平反，人倦鼠无声，叵奈蛇常存。
瑞安县署承尘上面，成千累万的蚂蚁，缕缕不绝。经常像黑雨一般，跌落得桌上席上，到处都是，拂之不尽，去而复来。
每天早晨起来，但见笔砚之上，爬满了蚂蚁，一看前一天晚上的剩粥，黑乎乎的，蚂蚁盖得满满一层，后至者络绎不绝。这使他想起《南柯记》中槐安国的公主与驸马。
蝼蚁尚贪残生，想到这些细小的虫类，只为求得一饱，便失去了生命，使他不由得手软。赋《悯蚁》五古一首，表现不忍之心：
劳劳为求饱，株连此何苦；餍足反幸免，馋饿坐党锢。击使千百散，视当生死怒；兼弱或天忌，过杀乃予误。微词与忏悔，戏言更分付；难艰食人食，何如撼大树？
瑞安人把飓风叫“风痴”，有人持“风痴草”，教他从草叶预测飓风来袭的月份和次数。这风痴草叶梢只有一折，据说是八月起风的征兆；不幸，七月五、六日飓风便怒吼狂奔而至。
天摇地动，日月无光。生长在钱塘江口的之谦，见过万马奔腾的江湖，却少见这样飞沙走石的狂风。西邻屋上茅草，被卷得不知去向，甚至榱崩栋折。
县署之中，新糊过并涂上冰油的窗纸，吹得都是破洞。几案掀动，床帐飘飞，之谦独坐于灯火吹熄了的黑暗之中。友人、僮仆各自走避风雨。他深深体会到人在困苦煎熬中的孤独与无奈。
朋侪童仆率自匿，坐任安危人一个；世上风波聊复尔，客里遭逢亦无奈！
他在《风痴三首》中写。
瑞安邻近温州湾，沙滩广阔，小岛林立，各种海中生物，之谦见所未见，闻所未闻。藉巡视海防之便，细审生态，向土人询问物名、物性，先后依粉本、记述绘为《异鱼图》和《瓯中物产卷》，作为博物学者研究、考订的参考。
细长、红色，像鞭子一般的马鞭鱼，长相凶猛的剑鲨；他说后者是百余种鲨鱼中最大最奇怪的一类。跳动在浅水和沙滩上的弹涂，俗呼“跳鱼”，正式名称为“阑胡”。
对于海豚和章鱼，他有特殊的兴趣，并在图下详加解说：
海豨，土人呼海猪，人身豕首，小者亦数百斤。肉不堪食，取以为油，点灯蝇不敢近。
章巨，大者名石拒，又名章举、章锯、射踏子；总称章鱼。
他描写章鱼的多条长肢和吸盘，能捕食同样多足的螃蟹，也描述章鱼性情的机诈。据他所闻，章鱼常在浅水处往肚子里鼓气装死，当小鸟下啄的时候，出其不意地举足捕鸟，饱餐一顿。但赵之谦认为，章鱼算不得人类餐桌上的佳肴：
食之令人胀满，煎樟木水煮之则无恙。
《瓯中物产卷》所绘生物种类比《异鱼图》复杂。其中弹涂、马鞭鱼等，与《异鱼图》重复，但如推测飓风的风痴草、扶桑花、宝珠茉莉、百子莲、荷叶长春及温州人称为黾脚的“石蛙”等，均为《异鱼图》中所无。
其中花草，绘于图卷之外，他也笔记于《章安杂说》中。如：
曾园有室，颜曰“舞山香”；用汝阳王事也。庭中千叶木槿一株，室取诸此，然其家皆呼“扶桑”，扶桑花五瓣，与木槿异，惟皆名“日及”耳；不知何以误呼。
——则廿四
柚花，《桂海虞衡》名“泡花”，最香，瓯中始见之。
——则廿二
不过，他这些笔记中，也有些道听途说的偏方，令人疑信参半。如：他谈到新昌有位患产病的妇人，已经气绝身亡，家人从两百里外请来一位陆姓医师，医命用大锅煮红花十斤，放木桶中，以红花汤的热气熏妇人，不出半日工夫，妇人血脉活络，起死回生。
再如：将一二寸菖蒲捣碎，与茱萸一起煎汤，喝了可医心气痛等，不一而足。
赵之谦眼中，瑞安少有文化活动和书画名迹。但自然风物特殊，他细心观察研究，勤于询问，反而使他绘画表现，离开对历代古人的依傍，步向新格。
写生的题材放宽了：芋头花、奇形怪状的老铁树、花色不同的夹竹桃、高达两丈状如鬼魅的仙人掌，都成了他描绘的对象。
以前闻所未闻的植物，被称为“金莲宝相”的红蕉、紫花长叶的百子莲，若非亲到温州，简直难以相信。
永嘉庭园的布置，也别创一格：
以他所住过的曾氏园为例，玲珑的湖石，像天然的水墨画，湖石后面开着一串串红艳的丁冬花，和下垂的紫藤，艳丽、淡雅，相得益彰。
在南方炎阳照射下，花木色彩，强烈而明艳，无论写形和赋色，都跟仿古作品，大异其趣。与徐崇嗣、陈淳、徐渭、李等少数写生画家的表现，倒能先后辉映。
他到温州半年左右，为永嘉令陈宝善所画的四屏《瓯中草木图》，可以作为他新画风的代表。
将以前所学习的传统绘画方法，和现实世界作过一番比较与反省后，再与少数友人讨论及印证，对于绘画和书法的关系、绘画风格的“拙”与“野”，他都有了具体的看法和分辨。这对他尔后的书画发展，有密不可分的关系。
远自青少年时期，赵之谦对书法、篆刻和绘画的学习，就齐头并进。可以说，早已有了金石派画风的雏形。古人所主张的书画同源，他也一向服膺。经过观察物象、“传摹移写”、“骨法用笔”及真正“随类赋彩”的深入体验之后，赵之谦进一步确立了以篆、隶、楷、行、草各种书体入画的主张。他在《章安杂说》中写：
画之道，本于书，书不工，而求画工，如小儿未离乳先哺以饭。虽不皆受病，而瘠与弱必不免矣。古书家能画则必工，画家不能书，必有市气。
——则十四
画风“拙”与“野”，常为人争论和曲解，不少缺乏基础和修养的画家，以“狂野”为“拙趣”，欺世盗名。对此，赵之谦有细致的思维与分辨。
他认为画家的拙与野，绝对不同，拙是笔墨表现的尽境和极致。他举儿童执笔写字画画为例。
儿童刚刚握笔作字，紧张得发抖，但紧张中，另有一种圆满的书气。这种全神贯注下的产物，极不成熟，可是具有拙趣。
一旦握笔熟练，消除当初的瑟缩，不免生出偏佻浮薄的感觉，天质一变，拙趣顿失，渐流于野。
譬如，一个粗野的悍夫，为了争路逞威，奋臂推挤，路人见了，纷纷躲避。一旁有人，屹立不动，悍夫不由得气沮。悍夫的表现是“野”，屹立如山者，代表了“拙”。以此类推，赵之谦说：
野，如酒狂疯汉；拙，类枯禅老衲。
毒龙猛虎属野，伏狮驯象是拙。
他的结论是：
天地间凡尽境皆同始境，圣贤学问，极于中庸。
又说：
蹑千仞之岗巅，以一观千仞之渊，日谈高深，所见有限。及历尽五大洲，老倦高卧，□两相叩，一语立绌。故野可顷刻成就，拙则须历尽一切境界。野是顿，拙是渐；才到野，去拙路远；能拙，且不知何者为野矣。
——则十五
他这种拙、野、顿、渐的体验，有点近似辛弃疾的《丑奴儿》：
少年不识愁滋味，爱上层楼，爱上层楼，为赋新词强说愁。而今尽识愁滋味，欲说还休，欲说还休，却道“天凉好个秋”！
分析拙与野的基本性质，赵之谦进一步指出明、清画家中，何者为拙，何者为野：
明如陈白阳拙，张平山野矣。国初诸人皆野。一智、八大山人以野见拙，笔力厚也。李复堂以拙孕野，气魄雄也。华秋岳颇到得拙字分际，而本领薄。金寿门拙是本体，宜取其古。便是野，亦必是拙趣，然后成家，细绎自知之。
——则十六
这段评析，应看做他多年，尤其是咸丰九年在杭州，广观历代绘画名迹，仿效揣摩，再与自然相互印证的看法，也是他尔后在发展上，所要采取的途径。当赵之谦正利用公余之暇，潜心钻研学术，欲畅游雁荡、黄岩等名山胜水，四周局势，却发生了变化：
咸丰十一年四月，婺州、金华一带为太平军占领，之谦归家之路受阻。
胡澍一家流寓里郑，就在那一带。之谦连发三封信，未得回音。问金华逃难者，根本连里郑是什么地方，都不知道。日夜悬想，之谦居然梦到胡澍已亡。最后试着寄信杭州，喜出望外地，总算得到胡澍回音。
平阳金钱会，向与瑞安白布会相互仇杀。入秋之后，金钱会有举动，窥伺平阳、瑞安县城，乃至永嘉郡城的迹象。