1927年底，谭震林随工农革命军到了井冈山，开始了在毛泽东领导下创建井冈山革命根据地的伟大实践。在井冈山时期，谭震林到新成立的红四军4纵队担任政治部主任，毛泽东问他：“4纵队靠什么起家？”谭震林很风趣地回答：“把政治上坚定、打仗勇敢的人提拔起来，把这方面不合格的人撤下去，4纵队不就有战斗力了吗？”他是这么说的，在实践中也是这么做的。
1928年10月，在宁冈茅坪步云山白云寺召开了中共湘赣边界党的第二次代表大会，毛泽东、朱德、陈毅、谭震林等19人被选为委员，谭震林被选为特委书记。
1929年，由于红四军在一次战斗中失利，前委机关和军领导险遭不幸，为加强前委保卫工作，毛泽东亲自指派谭震林组建主要负责警卫工作的混成大队，并兼任大队党代表。
1930年6月19日，赣南、闽西地区的红三军、红四军、红十二军合编，成立中国工农红军第1军团。湘鄂赣的红五军、红八军合编，成立中国工农红军第3军团。第1军团由朱德任总指挥，毛泽东任政委，下辖林彪任军长的红四军、黄公略任军长的红三军和伍中豪任军长的红十二军，谭震林担任红十二军政委。红一军团共有2万余人，由闽西、赣南、赣西南地方武装编成的红二十、二十一、二十二、三十五等各军也先后归属红一军团建制。红1方面军成立后，谭震林任红1方面军总前委委员。
1931年，国民党军对红一方面军的两次“围剿”惨败后，蒋介石不甘心其失败命运，决心集中更多兵力“剿共”，纠集力量发动第3次更大规模的“围剿”。1931年6月6日，蒋介石发表《告全国将士书》，声称要“戒除内乱”，“剿灭共匪”。6月21日，蒋介石由南京到达南昌，组织对中央苏区的第3次大规模“围剿”。
任红十二军政委的谭震林，遵照毛泽东的指示，与时任军长罗炳辉带领部队积极发动群众，筹集经费，随时准备打击来犯之敌。
7月10日前后，谭震林、罗炳辉率领红十二军由闽赣边界的宁化、长汀、石城地区西进，28日到达兴国西北的高兴圩地区，与红一方面军主力会合。进攻中央苏区的国民党军，7月底已深入苏区30公里，蒋介石、何应钦获悉红一方面军主力位于兴国地区，立即集中兵力发起进攻。正在红12军军部的谭震林与罗炳辉立即将此情况向红一方面军总部报告，方面军首长决定“避敌主力，打其虚弱”，发起莲塘、良村、黄陂战斗，在约3个星期中，出入敌军重围，争取了良村、黄陂两役的胜利。
按照红一方面军首长的指示，8月17日，谭震林、罗炳辉率红十二军主力部队离开兴国北上，并且扬旗鸣号，大张旗鼓地行动，蒋介石将红十二军误认为是红一方面军主力，立即命令尾随追击。面对强敌，谭震林率领部队走走停停，与敌人若即若离。为了更巧妙地迷惑敌人，谭震林和罗炳辉还给敌人设下更多圈套：在红军行动道路上，每遇岔路口都用石灰画上箭头，写上“某军团由此前进”等字样，有些地方还写下留言：“某某同志速到某处找，有要事相商。”敌人就这样被拖着东奔西突，折腾得士气沮丧，军无斗志，正如后来蒋介石手下一个参谋长供认的：“肥的拖瘦，瘦的拖死”，难以有效组织力量向红军进攻。
谭震林充分发挥红军政治优势，与地方武装紧密配合，紧紧牵着敌人鼻子，利用自己轻装灵便的长处和敌军装备笨重不灵的弱点，专走崎岖难走的山路，翻山越岭，忽东忽西，疲惫敌军。就这样把敌人拖了半个月，出色完成了掩护红一方面军主力西移的任务。此时，国民党内部矛盾进一步激化，粤桂联军在陈济棠的指挥下，趁蒋介石主力深陷中央苏区之际，趁机向湖南衡阳进兵，使蒋介石感到新的威胁。万般无奈中，蒋介石只得下令结束“围剿”。
1931年底，中华苏维埃第一次全国代表大会在瑞金召开，红一军团总指挥朱德亲手把绣有“沉着杀敌”4个大字的军旗授予红十二军指战员，红十二军政委谭震林感到非常自豪，这是朱德代表红一军团对谭震林及红十二军全体官员的褒奖和莫大信任。