赵之谦自称，他舍弃宋朝性理之学，把兴趣转向文学，是十四岁到二十岁间的事，而他真正对诗发生兴趣，尤其是长诗，是十九岁那年。
道光十七年春天，开元寺大坊口一带来了位扶乩者罗道人。罗道人自言生于唐末五代，算起来已经活了九百多岁。罗道人诗思敏捷，尽管观者如潮，作起诗来，依旧像长江大河一般，下笔千言，赵之谦戏称他为“诗祖”。
诗祖认为作诗的秘诀，全在“三无”和“三有”。“三无”是家无事、心无惧、目无人。心无惧、目无人，真正说出了赵之谦的性情，使他对诗的信心和兴趣大增。至于家无事，要视各人家庭环境变化而定，不能全由自己；家境变化，则是赵之谦近年的隐忧。“三有”指的是什么？罗道人在扶乩的沙盘上写：
赠有书，捋有须，执有殳。
赵之谦看了再看，觉得“赠有书”、“捋有须”，虽然没有什么深刻的含义倒也算通。“殳”，是古代的一种兵器，长约丈二，无刃。“殳”也是远古的一个姓氏，譬如虞舜的一位大臣就叫“殳斨”。秦朝有一种书体叫“殳书”。做个诗人也要“执有殳”，似乎不伦不类，显然是道人胡乱押韵凑句而已。
他把这种心意说出来时候，罗道人勃然色变，继续在沙盘上写：
立刺杀汝！
赵之谦一惊，未敢再往下问，但他此后写诗的灵感，却如泉水般涌现，当年便写了六首长诗《读史杂感》，可惜在战火中散佚，后来在友人所抄录的诗笺中，总算找到两首保存下来。
在人们的观感中，青少年时期的赵之谦，正具有了“心无惧”、“目无人”的狂傲个性，唯有“家无事”，却是他无法企及的诗人要素。
终年操劳家务的母亲章氏，在他十四岁那年病逝。次年，长兄赵烈为仇家所诬，长期缠讼的结果，不但家产破败，连生活都成了问题。求知若渴的赵之谦筹不到买书钱，只好到处借书来读。一次，到山阴元代书画大师赵孟后裔家中，借观赵孟的大字《道德经》，在那里赏玩了一整夜，不忍释手。太平天国战后，听说这本无价之宝毁于战火，使他痛心不已。
在艰苦的境遇中，赵之谦开始卖字卖画，为人刻图章维持家庭生活。备尝人间冷暖之后，他的性格变得更激烈；无论人、事和书画篆刻，凡是他看不顺眼的，便毫不隐讳地加以批评。他在亲族、乡里间的恶名，很快地传播出去，甚至把他和流氓无赖等量齐观。
不过，这种倔强的个性表现，也受到了独具慧眼者的赏识。
就在他十九岁那年，之谦母亲章氏同乡，有位读书人范默庵，他的第三房续弦夫人，听到赵之谦难以驾驭的傲气和才华，立刻以兴奋的心情，告诉她那自幼遍读五经，能写一手好欧体字的女儿范敬玉说：
此吾婿也！
家住绍兴府会稽县道墟乡的范敬玉，比赵之谦大一岁，为人处世的态度则比赵之谦成熟得多，由于是范默庵续弦夫人之女，自幼备受异母兄长们的歧视，在伤心委屈的时候，母亲总是无限感慨地说，如果她是个男孩，能读书明理就好了。因此，从六岁时，范敬玉就坚请父亲教她读书写字，好争一口气。在困难的处境中，也养成她善体人意，富同情心的性格。
和赵之谦婚后，孩子相继诞生，又要照顾生病的公公，生活的担子十分沉重。赵之谦卖书卖画之外，也以当启蒙师教家馆维生。二十岁那年，考中县学秀才，他的文名渐起，万青黎把他和余姚县的周白山（双庚），合称为“二俊”。
周白山，长于书法和刻石。在诗文方面，和赵之谦一样，表现得奇诡独特，而贫穷与狂傲的个性，也和赵之谦毫无二致。他靠卖卜维生，但门可罗雀，前往问卜者少之又少。赵、周二人，非常友好，在文字上时相切磋，他们笔下的诗文，往往使浅学之士无从句读。
考中秀才是家门喜事，进一步可以猎取功名，光宗耀祖。可是求知欲旺盛，个性强烈的赵之谦，对科举的八股文兴趣不高，古文之外，便埋首于周秦以后，隋唐以前的学术思想研究，使关心他前途的人，不免替他担忧。
赵之谦不但求知若渴，他更关心前人苦心孤诣的著作和奇节义行，唯恐在时间和****中，散佚湮灭，沉埋不彰。虽然自己三餐不继，却跟山阴县一位藏书朋友孙古徐相约，搜集珍本秘本书籍，哪怕是断简残编，以备将来刊行于世。
这也使家庭生活，更为困顿。雪上加霜的是，长兄赵烈，由于官司缠身，心情苦闷空虚，竟染上了越来越深的烟霞癖；这也是父亲一再告诫赵之谦不得吸食鸦片的原因。在日益贫困不安中，兄弟二人只好析产分居；但事实上，已经无产可分了。
道光二十八年，赵之谦婚后第二年，范敬玉做了一个梦，梦到身在半空中，天上飘着朵朵彩霞，一些背负着绯红色霞影的白鹤，在云间盘旋飞舞。她一面轻轻地用手采摘云彩，一面追逐着飞舞的白鹤。醒后，她回想梦中的情境，自号“霞珊”，因为她原有一个号叫“秀珊”。她与赵之谦的结合，自始就是一种冒险，一个充满浪漫色彩的梦，正像飘浮在半空中采云逐鹤一般。她了解他的理想和才华，也了解他的个性，与他家人所造成的生活困扰。因此，一切只能默默地承受，而且尽其可能地乐善好施。
道光三十年，由于赵之谦时常客游于外，范敬玉肩负的家庭责任也就更重。一次，她得了场重病，病中她感到她那二十三岁的生命，正一步一步地进入黑暗中。孩子和亲友们的呼唤、嚎啕，已经变得越来越远，越来越微弱。突然间，黑暗中有人递火给她说：
全孤寡，可亟归！
于是她从昏暗和死亡途中，悠然醒转。她不知道“孤寡”指谁，但不论是谁，她都乐于完成冥冥中所赋予她的使命。
同在这一年，赵之谦的第一位金石学导师沈复粲（霞西）离开人世，享年七十一岁。
如果以“贫无立锥，富可敌国”来形容沈复粲，似乎极为恰当。
当时，一位穷苦的读书人，唯一出路是把希望寄托在科场中，而沈氏连进科场的盘缠和时间都没有。他把所有的时间和金钱，投注在收集金石资料和买书上面。他广博的学识，数万卷藏书，不仅使赵之谦拓展出广阔的学术视野，他也是赵之谦终生怀念和效法的对象。沈复粲藏书处名“鸣野山房”，并开设书肆，赵之谦所藏张煌言《奇零草》残写本七叶，即得之于此。开始跟沈复粲学习金石那年，赵之谦十七岁，沈氏已经是六十六岁老人了。他的著作等身，可惜没有刊行。有的压在他的书箧中，遭受霉腐和虫蛀；有的为私人所收藏。单是乾隆时期史学家章学诚的著作，复粲就抄录一整套副本，由此，不仅见他用功之勤，更可以见出他尽力保持前贤心血的厚意。这也是影响赵之谦和孙古徐立志搜求和刊印古书的主要因素。
赵之谦十七岁那年起收集有关碑版的资料，想继乾隆时期书法家、金石学者孙星衍编辑《寰宇访碑录》之后，编《补寰宇访碑录》。沈复粲对他的另外一项重大的帮助，便是为他介绍江阴石匠方可中。方可中为他搜集到的资料相当多。沈氏撒手西归后，也为赵之谦留下几位志同道合的朋友。从这些原始资料中，赵之谦不仅能探索到书法和文字学的根源，更能改正许多历史的曲解和错误。
道光皇帝爱新觉罗·旻宁，崩于道光三十年春天，遗诏传位给四皇子奕，次年改元为咸丰元年。
道光晚年，由于中方在鸦片战争中战败，受到割地赔款的耻辱，加以内政腐败，盗贼蜂起，人心思变，整个中国早已进入风暴来临前的不安与沉闷中。道光三十年十二月十日，旧的一年即将结束，苦难中的人们强打起精神迎接新的一年时，广东人洪秀全在广西桂平县的金田村，燃起了反清之火。前后持续十五年之久，战火遍及十六省，中国命运为之改观。
而改变赵之谦一家人命运的，除动荡的时代之外，他与缪梓（南卿）、缪星遹（稚循）父子的结识，也是一个重大的因素。
沈复粲把十七岁的赵之谦引向金石研究之路。两年之后，卖卜隐士罗道人（按，可能为道光九年庶常，曾授翰林，因事降主事，乃隐居僧寺，白发飘然，俨如神仙，又名斌半聋），启发了赵之谦作诗的诀窍。到了二十岁，他结识了缪星遹，把他引荐给去官居家授徒的父亲缪梓。
缪梓，江苏溧阳县人。道光八年中举之后，六次前往北京应进士试，但功名不偶。道光十五年以举人大挑为一等知县，先后任浙江仙居、石门和奉化县令。所到之处，政声显著，深得上官器重。
道光廿四年，他奉檄到杭州为乡试同考官，眼见前程似锦，不料刚调离的奉化发生民变，继任知县被害，追究到前任县令，缪梓以失察降级去官。他索性像位教书先生那样为及门弟子讲授经义，所讲授的范围很广，除辞章之外，他更讲求考证与实用的学问，像律例、簿书、遗闻故事乃至军事、政治、漕运之类。一向目空一切，恃才傲物的赵之谦，对缪梓的道德学问，十分佩服，他求学的方向，也随着改变。缪梓则视他为可造之材，认为日后匡时济世，必有大用。
可惜，为时不久，缪梓就被浙江新布政使请去清查浙省仓库，那是二十多年的旧账，已经清算了四年也无法交待。缪梓勾稽亏盈，不徇私，不苛求，很快就清理得众论翕服。接踵而来的是道光廿九年的浙江秀水水灾，缪梓又奉命赈灾。赵之谦从学，也就暂时中断。
咸丰二年秋天，二十四岁的赵之谦想北上一江之隔的省城杭州，参加三年一度的乡试。
几年来，他虽然尽力教书、卖字卖画和为人刻印，但依旧债台高筑。有时外出谋生，不过每当急景凋年，他必然返家，偿还一年的借贷。据说，他曾前往富商云集的扬州卖字，他所景仰的前贤扬州八怪，就在扬州度过艰苦而浪漫的岁月，他却铩羽而归。在三餐难继的日子，他只有关起门来，琅琅书声自大坊口的赵宅传出，像是对命运的挑战。但看到离不开汤药的老父，衣服褴褛饥容满面的妻儿，心中不免惭愧。解决穷困，施展抱负唯一的出路，就是参加乡试，倘若侥幸得中，再到北京天子脚下，猎取功名。
然而，此时的赵之谦却像终身隐于书肆的沈复粲一样，连赴省垣的旅费都筹措不出。正在进退两难的时候，叔祖赵曼仙主动资助他十一千九百钱，使他得以成行，这种雪中送炭之情，赵之谦无时不在感念。
不幸，赵之谦此行，一无所获。
赵之谦对赖以博取功名的八股文，十分厌恶，他在给友人诗中表示，作空洞的八股文，如同演戏或妇女的涂抹妆饰，虽能猎取功名，却百无一用。一代代的中国人为八股文所误，不求匡时济民的实学，其祸之烈，甚于秦始皇的焚书坑儒。
有些考官，对像他那种古文意味浓厚的八股风格，也极力加以排斥，赵之谦不仅在咸丰二年的壬子科乡试名落孙山，其一生的落魄潦倒，也种因于他对八股文的态度。
从这年除夕他写给周白山的五古，可以充分体会出他在饥寒交迫中的苦闷与绝望：
一岁天丧予，五穷鬼活我，年长道何补，过者况已夥。未堪家多难，谋生计又左。道心挤沉闷，世眼通懡，饥摚千字肠，寒钻五内火！
更不幸的是第二年一年，父亲、长嫂和志同道合的好友孙古徐相继病殁。
父亲晚年，虽然贫困多病，但为人乐善好施，遇人急难，宁可自己典当，也要加以济助。他对赵之谦不得嫖妓和吸食鸦片的告诫，之谦也始终奉行不渝。
长嫂去世，使长兄赵烈更加消沉，除沉醉于烟霞之中，对子女几乎不闻不问。
藏书丰富的孙古徐逝世，使他们苦心搜集达五年之久的图书资料不得不半途而辍。赵之谦刊印丛书的宏愿，只好搁置一旁。
缪梓因秀水赈灾有功，先是官复原职，继升杭州府总捕同知，司乡试科场事务。当赵之谦八月中旬，埋首锁院，挥笔疾书的同时，缪梓和浙江巡抚黄宗汉，也正监临闱中。
黄宗汉颇为水道淤积漕运不通的事苦恼。他同缪梓商议，缪梓以对浙江事务的深入了解和漕运知识，建议改用以前议而未行的海运，取道上海运粮前往北京，省时省力。又自告奋勇地表示：
在上事，公任之；在下事，梓任之。
黄宗汉请旨，朝令允行。结果不出六个月，工程便告完竣。咸丰三年夏，缪梓署绍兴知府，进而补宁波知府。
咸丰三年十月，太平军刘丽川部据上海，连攻下嘉定、宝山等地，直逼松江。缪梓奉黄宗汉命赴东洨助巡抚吉尔杭阿防堵。
不久，缪梓奉檄返浙，继续办理因战争形势而改变的海运航道。咸丰四年，以助战及办理海运有功，先调升杭州知府，随又奉旨开缺以道员补用。
赵之谦大约从这时起，由缪梓的及门弟子，进而为入幕之宾。他的工作属于秘书性质，主要是书启和奏疏一类的起草工作。
公余之暇，缪梓聚集周白山、胡培系、胡澍、王晋玉、赵之谦一干幕宾，连同自己的几个儿子，讲述法律、兵事、农、工、漕运、盐策等实务。让他们互相讨论，他再以老师和上司的立场，为他们分析讲评，以培养治学治世的人才。
咸丰四年的冬天，赵之谦随幕到原属嘉兴县地的石门（崇德县），夜宿县署。县署西偏，有块一尺见方的紫色石，一人足以扛起来行走，但据传有鬼物附于石上，碰到便要为祟；所谓请神容易送神难也。最近又从县东偏掘到一双瓦塔，使石门署的神话色彩更重，给人一种鬼气森森的感觉。只是雅好考据的赵之谦偏不信邪，更深人静的时候，秉烛来到石边，摩挲石上字迹，发现是一个经幢，为五代晋高祖石敬瑭时代旧物，虽有九百多年历史，却也未见鬼神附石的灵异。
明末清初，被推崇富民族意识，誓不仕清的吕留良（晚村），也是石门县人。赵之谦考证吕晚村事迹，却对他有不同的评价。
依赵之谦看法，吕晚村原名吕光轮，入清之后，本来是位秀才，因为八股文岁试得到劣等，才弃去秀才，以明室遗民自居，以洛闽理学号召天下，并列名张考夫、陆清献、劳麟书四大儒之中。雍正年间，因受曾静文案牵连，阖门被祸，至有吕四娘刺杀雍正皇帝故事的流传。吕晚村当年居住讲学的南阳讲堂，籍没之后犁为农田，但此际赵之谦所见，则仅为一片蔓草荒烟。
由此可见，赵之谦与幕友，不仅随缪梓探讨各种实用之学，也随幕之所至，阅读当地收藏家的珍秘藏书、古代字画、篆刻，并随时随地展开考古工作。
当缪梓以快节奏调升改署的时候，赵之谦也像旋风一般，随幕移转。咸丰五年八月，趁驻守杭州之便，又参加了乙卯科乡试，依然名落孙山。
闱场中，他与前兵部侍郎戴熙（醇士）次子戴以熙（一说为戴进卿）同号舍。戴氏一门，在书画方面极负盛名。又客嘉兴郭止亭家，得读郭氏藏书和观赏汉铜印。在篆刻方面，从前他所接触的多为浙、皖两派印谱，直接钻研汉印和封泥，不但使他大开眼界，也确定了他未来的篆刻方向。然而，妻子范敬玉的来信，却使他忧形于色。
丧偶后的赵烈，忽然弃家出走，不知去向，留下未成年的子女，孤苦无依。范敬玉这时才省悟，道光三十年重病昏迷中，觉得有人递火给她，告以“全孤寡，可亟归”；原来孤寡是指此而言。于是，毫不犹豫地把赵烈子女接到家中，亲自照料。加上亲生子女，范敬玉的辛勤忙碌，可想而知。