在老一辈党和国家领导人中，直接来自社会最底层的，谭震林是为数不多的一位。谭震林是湖南攸县城关镇人，1902年4月出生在一个贫苦矿山职员家庭，在他出生的时候，父亲给他取名喜起，意即喜从人间升起。母亲胡润秀，秉性善良，勤劳贤淑，宽厚仁慈，乐于助人。虽然自家很贫穷，但胡润秀经常带着年幼的谭震林接济邻家的一位年过八旬的老婆婆，母亲的善良举动，在谭震林幼小的心灵里起了潜移默化的作用。
谭震林曾经短暂地入私塾学习，因家境贫寒，很小就在书店做学徒，青少年时期曾当过十多年印刷装订工人。在此期间，他广泛阅读进步书刊，接受了进步的革命思想。谭震林虽然没有机会上学，但他利用在书店做工的有利条件，如饥似渴地阅读许多古典名著，从中汲取了丰富的精神营养，受到爱国主义和英雄主义的熏陶，要求改变不合理社会现象的愿望更加强烈。谭震林特别崇尚古典名著中那些英雄人物的崇高气节和高贵品质，同时，他也认识到要想打倒封建王朝，推翻不合理的社会制度，必须把受苦受难的民众团结起来，这样才有力量，革命才有可能成功。
在当书籍装订工的这段时间内，谭震林亲身经历店老板为了获取高额利润，随意解雇工人的过程，亲眼目睹了失业工人的悲惨遭遇和书纸店老板们的为富不仁，感到无比愤怒，便发动工人团结起来，同资本家进行坚决斗争。在书籍销售旺季，他率领工人们罢工，工人们聚集在商店门口静坐示威，资本家急得像热锅上的蚂蚁，纷纷向工人求情，催促他们快回去上班。这时谭震林挺身而出，不顾个人安危与资本家进行斗争，工人们终于取得了胜利。谭震林也懂得了团结起来力量大的道理，与工人们团结得更紧密了。通过领导发动工人起来斗争，谭震林受到了很好的革命锻炼，为后来接受马克思主义和投身革命，奠定了坚实的思想基础。1926年上半年，谭震林经好友介绍加入了中国共产党，踏上了革命的道路，担任工人纠察队队长、县工农运动特派员。
谭震林同胞兄弟7人，他排行老三。由于长期生活在社会底层，因此兄弟们自幼就萌发了一股强烈的反抗精神。谭震林的二哥谭寿林，早年投奔广州的国民革命军，在与叛军陈炯明部作战中英勇献身，谭震林的叔父谭瑞成，也在战斗中不幸牺牲。五弟谭回生，积极参加农民协会，成了当地农民运动的骨干分子，“马日事变”后惨遭国民党反动派杀害。
1930年9月，时任红十二军政委的谭震林率部攻占攸县城，在此筹粮筹款，同时帮助建立当地党组织、苏维埃政权和红色武装。不久，奉命撤离攸县，进军江西。卷土重来的国民党反动派以“共匪坐探”的罪名，残忍地杀害了谭震林的父亲谭瑞开和大哥谭福元。为了中国革命的胜利，谭震林牺牲了5位亲人。
全国革命胜利后，谭震林曾感慨地说：“革命的胜利来之不易啊！从共产党成立到新中国诞生，再到抗美援朝，全国牺牲的烈士是4000多万啊！他们的鲜血没有白流，我们家几个人也是死得其所啊！”