魏锡曾不仅是赵之谦学术上的知己，对他的性格也有深刻的了解，欣赏他那种率真的个性。
时当元年五月下旬，之谦屡接永嘉令陈宝善来信，陈宝善知道之谦一时无法前往北京，温州情势又在危急之中，力邀之谦重返温州。所以之谦一面加紧工作，一面向锡曾讨些鼻烟应急：
再启者，求转乞令亲处鼻烟少许；极少，八九钱，一两更好，一两外益感。用油纸两重包裹……俾勿走气，尤望速寄。
之谦平日无其他嗜好，对于鼻烟，不仅喜好，而且十分内行，所以后来才有专论鼻烟——《勇卢闲诘》的著作问世。他在给锡曾手札中，接着写出需要之急，并自我解嘲：
此物有在陈之厄，一来最能振刷精神；且刻如许印章，而需索只此，谅不为贪也。
——尺牍通十六
出言威胁，也是之谦对付锡曾手法之一，他在一封信中写：
……此信到，印稿必须寄来，倘仍不寄，则各印在我手（按，指锡曾父子求之谦刻的印），尽磨而攫之矣！
——尺牍通四〇
骂，可能是之谦处理问题比较直接的方式；骂与威胁并施，运用之妙，在乎一心：
令郎来，一切俱悉。闻今日要做书院卷，为千钱计，而必使立即收拾之行囊，不许收拾，实属不知事体。
此一千文，譬如送我吃荔枝，亦所应得。送脱千文赶快印，印则彼此讨好；乃必执两篇臭烂八股当正经，此真该杀该剁，千刀万剐不足蔽辜矣！
二印在佛手不肯付，由他。《董志》决不吃没，但今晚不还印，则一切吃没，莫悔，莫悔。
——尺牍通四九
不过，此信之骂，尚属牛刀小试，骂得痛快淋漓的一札，是同治元年十月七日，由温州寄到福州锡曾岳父家中的一封。
那时之谦在温州任职，并等待船期前往北京。他受锡曾之托刻了许多印章，但请人将信与印章带往福州后，却如石沉大海，毫无回信。气急败坏的赵之谦，无名火起，兴师问罪：
稼孙大兄侍史：自前月迄今，不知发过多少信而一字不复，真乃怪事。弟生平待友最真，何阁下以荒谬对耶！
寄石来时，恳切如此；早知如此之一信不复，不如一石不刻之为愈矣；可杀，可杀！现在弟为无识，又将各印一一封寄。此信到日若竟无字来，则魏稼孙狗心鬼肺，神人共愤矣。
百思不解的赵之谦，不由得翻起魏锡曾转让名人尺牍给他的旧账：
况前次寄尺牍，价便嫌少，亦必写一收到之条；自此以后，竟不发一信，吾以汝为死矣。嫌少尽可再说些；脚烂断，手先烂断耶？
从前屡有人说稼孙之为人可恶，弟不觉其可恶。今则不惟恶之，可见赵益甫眼力有限，竟为汝等鬼蜮伎俩所蒙矣。临书浩叹，即请三思。弟谦顿首，十月初七日弟准定十一月初五六动身，苟有人心，回信请写一封；不则装死亦可使得。
信寄出后第四日，之谦收到锡曾托人带到的信、书籍、石印、笺纸、古钱；他所要的全数在此。
从信中得知，锡曾更早时，曾寄给他十五方印石和书；但因印石沉重，途中，见者误以为包的是黄金白银，结果被散兵游勇劫去。当他们打开包袱看时，见是些对劫者而言一文不值的石头，还不知要如何咒骂呢。之谦庆幸抢劫时没有伤到寄书之人。友情的温暖，自己没有弄清事实，不分青红皂白的詈骂，使他恨不得能追回前信。
十月十四日，他提笔函复锡曾，告诉一则来自上海的佳音；困于杭州的锡曾生母健在，一位弟弟，已经顺利脱险。
之谦写了一封长信，娓娓细诉在温州刻印、授徒进展的情况；包括锡曾倩刻表彰其先祖的“悌堂”朱文印，和锡曾托刻的各种印章。口硬心软的赵之谦，通篇没有一句表示歉意，但处处可以感受到，他在对锡曾作无形的补偿。
不过，强中自有强中手，一旦之谦与善骂者狭路相逢，他非但不撄其锋，甚至运用以柔克刚的策略来趋吉避凶。
何绍基（子贞），湖南道州人，道光十六年进士，授翰林院编修。
汉代名将李广，猿臂善射。绍基因而悟出书法执笔、运臂的方法，通于射法，因此自号“蝯（通猿字）叟”。他的口诀是：
书律本与射理同，贵在悬臂能圆空，以简御繁静制动，四面满足吾居中。李将军射本天授，猿臂岂止两臂通，气自踵息极指顶，屈伸进退皆玲珑……
绍基无帖不摹，自课甚勤，并善于诗，曾国藩认为他的书与诗，均能流传千古。博览群籍，学通今古的何绍基，也卓荦自豪，每于酒后，谈论书法金石，雄辩滔滔，对人很少假以辞色。
多年后，之谦到杭州，巧遇绍基。他在给锡曾信中说：
何子贞先生来杭州，见过数次，老辈风流，事事道地，真不可及也。弟不与之论书，故彼此极相得。若一谈此事，必致大争而后已，甚无趣矣。
——尺牍通十八
之谦此札，不过是轻描淡写，远不及他给何绍基某弟子信中，说得坦率而详细：
弟从前之不愿为君书者，以君为何太史弟子。太史之视弟如仇，前在杭州，同宴会者数次，太史逼弟论书，意在挑战，以行其詈。
弟一味称颂太史之书，为古往今来，生民未有；彼无可何衅而去。然犹向其乡人大肆诟厉，类村夫俗子行径，殊可笑也。
从信中语意看来，何氏弟子索书于先，之谦复函，顺便谈到与绍基邂逅杭州的往事。之谦法书中，有为绍基弟子蓝洲作北魏书联一副；不知和前引手札中所说，是否同属一事。不过从这幅四言联的题款中，可以见出，他对何绍基背着他的恶评，始终耿耿于怀；并非如他所说的笑骂由人：
何道州书，有天仙化人之妙，余书不过着衣吃饭凡夫而已。
蓝洲仁兄学道州书得其神似，复索余书，将无厌家鸡乎？之谦在福州，经过半年多的苦苦等待，依旧无法航向北京，赵之谦于同治元年六月十八日，顶着炽烈的太阳，乘轿上路，返回温州。怕热的他喘着气，汗如雨下；想着抬轿人的辛苦，心中暗道惭愧。好在走了一段山路之后，一片乌云飘过，风雨忽然而至，带来些许凉意。
仆人张彬，随在轿后，他是位强健、讲义气的汉子，跟别人很难相处，但之谦对他却颇赏识。
犹记去年腊月入闽，滔天巨浪让人触目惊心。而此次返回温州，走的却是由闽入浙的崎岖山径，沿途盗匪和散兵游勇出没，危险之处，应不下于海中泛舟。
处州、温州战事紧急，受永嘉令陈宝善和总兵秦如虎之邀返温，赵之谦有种急迫感。因此，也就顾不得道途的危险。之谦在回忆此行的诗中写：
故人令永嘉，招我书十纸，上言去亦得，不去归者是。下言再击贼，四郊寻多垒，同负血气勇，胡忍卧隐几。将军能揖客，况复重延企，诚言受深切，曷敢忘意美……
十九日由宁德继续北上罗原，天气变化尤大，一阵阵的暴雨狂风，气温骤降，像是由三伏天突然进入深秋。道路泥泞，轰隆隆的泉声，使人心乱如麻，行路之难一至于此，悔不如老死牖下。
在野店中，用些菰米饭，度过难以成眠的一夜，泉瀑的回响中，夹杂着休留鸟鸣，让人有些毛骨悚然。
离开罗原时，天色将明，看着风停云静的天色，众人额手相庆。接着一连两天，将行过天气变幻不测的飞鸾岭，和飞鸾江上多盗的飞鸾渡；对行路者而言，等于是渡过一座鬼门关。
前十里路走得尚很轻快，半山之中，日光由树罅射下，一道道光影，如黄金、翡翠般迸射在深山古木之间。山路高低回转，俯视飞鸾江流，竟渺不可见。突然云雾弥漫，路途顿失，每向前一步，都像踏入云雾布下的陷阱。之谦在诗中描写那种神秘而惊险的景象。
天云忽有故态作，力压万山道强横，认山云外路云里，以脚穿云如纳阱。松客舞蹈战云走，海气腾挪亲雨迎，千年龙蜕藏大珠，百丈鲛绡囊尺镜。我来洗眼看奇绝，敢道雨行何以圣……
——《渡飞鸾岭》
经过一条山溪时，石桥已经崩断，只好在强劲的晚风中，涉水而过，众人衣履尽湿，仆夫不断抱怨，但他觉得，这也是终生难忘的胜游。
飞鸾岭下飞鸾渡，距福州已有一百八十里的路程。之谦一行，四更天便出发渡江，他高卧船上，倾听涨潮的江声，月亮忽然从舵尾探出。听说夜渡飞鸾旅客，常遇盗匪洗劫，他庆幸得免。
在《四更发飞鸾渡》七律中，之谦但写：
客中心事如成梦，愿付江流去不回。
却在半年后告别温州述怀诗中补叙：
冲暑渡飞鸾，暴雨沉行李。
飞鸾之渡，似乎成了此行一次重大的损失。
又经过二日生平罕见的艰难行程，来到商贾集聚，却人多屋少的白琳村。之谦好不容易才找到半间狭窄的居处过夜。
白琳村离闽、瓯交界的分水关不远，前此路上，偶见人群中杂有垂头丧气的饿兵，来到村中，更见军兵集聚，手持兵器到处寻事。一问之下，知是由瑞安撤回的军队。据居民表示，乱兵时出抢掠，凶狠程度，不下于盗匪。
居人说近事，乍听汗盈把，今宵孤客眠，醒眼看烛灺。
之谦在《自杨家溪至白琳道中得三诗》的第三首里表现出客中的无奈和惶恐。
进入东瓯地界，已少有高山大川之险，从此航向永嘉，是之谦往返多次的熟路。十几天旅程接近尾声的时候，之谦回想一路上令他感慨最深的几件事，谱成《三怜》长诗，实寓有警世的意味。
为贼烧掠一空的福鼎县城南门，剩下仅有的一家店铺。之谦冒雨冲入时，听到的是一片呼冤声。
有位温州王姓布商，和福鼎张县令为旧日好友，请饭、安排住处，县令殷勤招待。当温州贼退，王姓客商收拾财物急着回温州时，县令却暗派亲军数十人尾随出城，把他抢劫一空。商人回城告官，县官表示强盗已逃，不妨住下来再说。自此，商人一病不起。医师断定将死时，县官派人把他抬入店中，不再闻问。
家有妻子、兄弟的王姓商贾，苦等不见来人，僵卧叫号了三天三夜，见人就涕泪滂沱，可谓死不瞑目。
之谦尚未听完，主人、落店的担夫，多已泣不成声。事情就这样不了了之，至今冤沉海底，不知长吏见了作何感想？
某日过一座大岭，道旁有位乱头粗服，衣不蔽体，却美貌绝伦的少女。虽然秀色天成，但给人的感觉，则是凛然难犯。行路众人见了，莫不啧啧称赞。
不过，大家心里知道，她是“畬民”之女，将一辈子拾柴烧火，终老荒山。“畬民”，意为贱民；据之谦所知：
以火耕田名曰畬，以畬名民贱莫加，婚姻不通不人齿，自为一族虫与沙。
这种阶级限制，将使少女和她的族人一样，永远不得翻身。之谦怜惜这位生不逢时的美女之余，也对自己生不逢时，怀才不遇自怜起来，他在《畬民女二》七古尾声中写：
夕阳欲堕归路远，穴居野处非人家，荒山落莫终老死，我方与尔忧无涯。
第三怜，怜的是仆夫张彬。
行到与瑞安一江之隔的平阳，随之谦一路冒险犯难的张彬，表示要去探视一位杭州朋友；现掌平阳县印的罗县令。
罗氏前为温州知府的家仆，捐了官之后，变成温州府属的县令。由于缺乏资斧，所以罗县令尚在候补之中，待一年后补足捐赀，方得真除。
张彬知道之谦在温州停留一个时期后，将转赴北京应试，因此相约同行。饮酒之间，之谦见张彬对罗姓友人颇有羡慕之意。想到自己尚无立锥之地，年来南北奔波，依附友人；自然更无法助张彬一臂之力，达成其纳赀捐官的愿望。他赋诗自责：
仆来述辞有歆羡，惭愧主人今汝负，相携患难历穷困，涉水登山日奔走。我由传食附宾客，汝莫候门任指嗾，安得数金纳票本，天与一官求升斗。期汝如罗踵可接，尚恐我贫不汝厚，况今潦倒失生计，大愿空存言亦丑。尔曹能者半官府，我自泥涂辱且久，呜呼我误汝前程，从兹对汝应低首。
想着自幼苦读，满腹经纶，乡试名列前茅，但多年奔波，到头来连一个捐赀的官仆都不如，之谦顿觉一片茫然。