道光九年（一八二九）七月九日，赵之谦诞生于绍兴府城近开元寺东首的大坊口。
绍兴赵姓除了众多的人口财势之外，更出了位名垂青史的孝子。
赵之谦的七世祖赵万全，自幼父亲便远游在外。待他年纪渐长，常常为了思念父亲日夜号泣。终于得到母亲允许，外出寻父。
赵万全穿着芒鞋，攀山涉水，历尽艰辛，足迹遍行十省，到处打听父亲的踪迹。《绍兴府志》记载是，七更寒暑，终于在山西大同的一个地方，经过父亲旧日徒弟的指引，找到父亲坟墓。依赵之谦的说法，经过十九年之久，赵万全才背着父亲的骸骨，重归故里。
在墓前哭得死去活来的赵万全，启棺时有两只金蝴蝶翩翩飞入他的怀里，人们说这是孝感动天的缘故。他把亡父骨骸负归绍兴之后，庐墓三年，每日哭拜祭奠，为之形销骨立。并著《思亲录》传示后代。清廷据报，旌为孝子。
这件光荣往事，族人引以为傲，也是“二金蝶堂”堂名的由来。赵之谦成人后，一再刻“二金蝶堂”印，在边款中表述祖德，昭告后世子孙。
赵之谦少年时期，仍住在大坊口坐北朝南的深宅大院里。父亲赵松筠（守礼）中年患气喘症；这是祖传的症候，已经传了三代，热天还好，寒季必发，因此大半时日卧病在床。母亲章氏辛勤地操持家务。只是家庭情况，已渐渐不如从前。
虽然家道中落，但赵松筠除了经常告诫赵之谦长大不要嫖妓和吸食鸦片之外，对他的教育，似乎采取一种自由和放任的态度，使他尽量发展出独特的个性，与多方面的兴趣和才能。
赵之谦两岁时，已经能够执笔写字。父亲教他在那些一尺见方的地砖上，用笔蘸水来书写，随写随干，省纸省墨，练习的效果又好。据说，时日久了，有些地砖产生裂纹，看来仿佛枝桠横斜的树木，引人遐思，引发赵之谦画画的兴趣。
四岁，入里塾读书，学习章句。赵之谦记忆力和理解力比别的学童强，所提出的一些问题，常使塾师无法作答。十三岁以前，他竟能自己读完周敦颐、二程、张载、朱熹、宋五子的性理学。
他对壮烈殉国的南明忠义之士的事迹，十分留意。
张煌言（玄箸、苍水），浙江鄞县人。明亡，和邑人钱肃乐等倡议奉鲁王监国。以佥都御史监军，屡抗清兵。舟山破，鲁王入闽依郑成功，张煌言劝郑成功溯长江而上，收复失土。他先移师长江上游，攻克安徽二十余城，郑成功续攻南京，可惜兵败于镇江。鲁王卒后，煌言见事不可为，散兵隐居，卒被清兵所获。
壮烈成仁易，从容就义难。
张煌言被解至省城杭州时，总督钦敬他的节操与风骨，没有关监入狱，安排他在旅馆中居住，命人善加服侍。见面时待之以礼，景仰之情，见于言表，有意劝降。但他以事已无望，使命已了，致书总督，但求一死，以报国家。
……伏望台下，立赐取决，俾某乘风驭气，翱翔碧落，或为明神，或为厉鬼，是诚台下大有造于某也。否则某当追随首阳之后尘，不必俟炎午之生祭。
康熙三年重阳节前二日，张煌言以五十九岁盛年，像他崇仰的文天祥那样，赋绝命诗，从容就义。
从祖赵占讲述被谥为忠烈公的张煌言故事时，赵之谦年仅十三岁，听后大为感动，表情肃穆地走到从祖跟前，说出心中的景仰，情绪久久无法平伏。
另一位他所崇敬的南明义士张肯堂（载宁），松江华亭人，明熹宗天启年间的进士，授浚县知县。崇祯年间任八闽巡抚。明亡后，先后追随唐王和鲁王，从事反清复明的大业。鲁王败于舟山后，张肯堂移于滃城。康熙八年九月二日城破时，张肯堂与家人共二十八人，均自缢而死，仅仅一位十八岁孙子张茂滋，奉祖命，历尽人间地狱折磨，方使得免于难，希望能为张氏保持宗祧。
张茂滋在万余言的《余生录》中，历述其祖父在忠言不被采纳，荐举人才不被采用及困守孤城，心力交瘁的景况中，门人、庶室和媳妇、孙女以死相殉的惨剧。在张肯堂旧部、幕客和门生冒死协助下，张茂滋走出一个个生死关头。他希望为那段国破家亡的历史，和在苦难危险中救助他的义行者，留下见证。
赵之谦幼时，从一篇文章中，知道张肯堂的事迹和张茂滋的《余生录》。百般搜寻却没有机会看到。由这两件事，也可以见出赵之谦少时的胸怀。
稍长之后，之谦曾在沈氏书肆中买到张煌言遗作《奇零草》残本。中年在北京见到张肯堂手札三十三通，于清初诸家笔记中，也读到些张肯堂事迹。到了晚年，他更考订张煌言年谱，请人抄录张茂滋的《余生录》，辑入他节衣缩食所刻成的《仰视千七百二十九鹤斋丛书》之中，流传后世。少年心愿，晚年始得完成，他的恒心与毅力，可想而知。
在私塾中，除了经史子集这些读书人必须修习的科目外，少年赵之谦，对于琴棋书画，都有相当的兴趣，出人意料的是，像他这样想象力丰富，感情充沛的年轻人，对文人雅士欣赏、吟哦的诗，并不如何热衷，只偶尔信手涂抹几十字、几百字的诗篇。不过看来也颇有灵气，像庄重，又含有一种玩世不恭的诙谐，有儒家仁厚的胸襟，但也不失老庄的洒脱和佛教超然物外的色彩。此外，也可以让人感到像儿童言语的稚拙，像通俗的俚语，但又典故重重，使人难以尽解。
他的同窗何自芸学诗的态度十分认真，按明、元、宋、唐、晋、两汉上溯《诗经》三百篇风格，一层层地摹拟钻研，对其穷年累月，苦心经营的成果极为珍爱，每次遇到人来，必定吟哦一番，以求奇文共赏。
何自芸对赵之谦那种即兴之作也能博得好评，耿耿于怀，满腹不平，而赵之谦则深感何氏苦心孤诣的成果，不过尔尔。
两位同窗由心中的不满，渐渐变成口舌之争，最后不得不请塾师作个评断。塾师为何自芸作了个富有启发性的譬喻：
汝诗譬窭人子，勤俭操作，铢积寸累，以事生产。初获十百，久而千万，历知艰难，深自护惜，不自暇逸。彼诗譬膏粱子弟，生长豪华，日用饮食，宫室妻妾，奴婢狗马，为所欲为，纵恣狼籍。朝慕游侠，夕逐浪子，弦歌未终，叱咤数起。幸货财多，非年齿与尽酣豢，挥霍无虞中落；然其乐也，人忧之矣。
塾师的话，意在勉励何自芸，但，在何自芸尚未领会话中含意，还想继续争辩的时候，赵之谦已经惊出了一身冷汗。想不到塾师一针见血地剖析出他性格上的缺点，使他反省与警惕。只是，在他的感觉中，似乎永远无法克服这种性格上的缺点。无论写诗和画画，他了解自己的潜力和才华，却依然像教师譬喻中随意挥霍的膏粱子弟一般，为所欲为，不自爱惜。只有在篆刻方面，赵之谦觉得他已尽力而为，天资人力各居其半。