1927年，谭震林担任井冈山革命根据地第一个红色政权——茶陵县工农兵政府的首任主席。毛泽东得知工人出身的谭震林当了第一位县工农兵政府主席后，十分高兴，立即指示中国工农革命军红一团政委宛希先送给谭震林5支枪，帮助建立茶陵地方武装。谭震林很快组织了一支纠察队，并发动乡村成立赤卫队、暴动队，把茶陵的革命搞得红红火火。
1927年12月初，湘军第8军吴尚的一个加强团包围了茶陵，革命军游击队、赤卫队和纠察队一起与敌人展开了激烈的战斗。由于敌我力量悬殊，为保存实力，革命军决定主动撤出战斗。在部队往什么方向去的问题上，革命军第1团政委宛希先和团长陈皓发生了严重的分歧，陈皓要把部队拉向湘南，企图以扩大地盘为由，掩盖其投敌叛变的阴谋。在这关键时刻，率工人纠察队、赤卫队赶到湖口的茶陵工农兵政府主席谭震林，坚决支持宛希先将部队带回宁冈、井冈山进行休整的正确主张。正在宁冈养伤的毛泽东接到宛希先的信，急速赶到湖口，逮捕了陈皓，挫败了陈皓等人分裂革命队伍的阴谋。
在湖口墟，谭震林第一次见到毛泽东。毛泽东看着眼前这位大眼睛、厚嘴唇，个子矮矮的青年，笑了笑说：“哟，你就是谭震林，茶陵县工农兵政府主席，好年轻喽！”他握着谭震林的手说：“和我们一起上井冈山去，做个‘震山虎’吧！”谭震林出生在虎年，曾以“虎子”自命，毛泽东的话引得谭震林也笑了起来。就这样，龙归大海，虎踞山林，谭震林随毛泽东上了井冈山。
茶陵是通往井冈山的门户，战略地位极其重要。部队到了井冈山，毛泽东发现茶陵县委的人没有上山，于是找到谭震林，对他说：“震林，茶陵还是要管的，派你回去任茶陵县委书记怎么样？”
谭震林感觉到毛泽东对他的信任，但又觉得担子很重，问道：“现在就去吗？”
“不，你不必忙于现在回茶陵，可先带领部分人到宁冈、茶陵交界的九陇山开展活动，相机开展茶陵工作。”毛泽东指示说。
于是，谭震林带领部下一面秘密深入茶陵境内活动，一面积极与原县委联络。由于敌人加强了对茶陵地区的搜剿，县里的党组织遭到严重破坏，被派下去的同志，被抓的抓，杀的杀，有的下落不明，工作开展不起来。但谭震林没有气馁，他决定要亲自去闯一闯虎穴。可正当他准备行动时，毛泽东下令要他们立即撤回。谭震林问为什么，毛泽东说：“茶陵的情况很复杂，没有武装不要下去活动。”
谭震林详细向毛泽东汇报了情况，他说：“从这件事体会到，没有武装就没有我们活动的余地。在茶陵，我们打碎了旧政权，建立了新政权，经验告诉我们，没有正规部队和广大地方武装配合，就不能战胜敌人，已经建立的红色政权也站不住脚。”
毛泽东说：“你也赞成要有武装啊？你是第一个赞成枪杆子里面出政权的人！”
原来，党内当时有不少领导同志对革命重心必须由城市转入农村，积蓄力量，实行武装割据，开展土地革命的战略思想认识不足，认为共产主义是无产阶级的革命运动，与枪杆子里面出政权无关。毛泽东曾因写过“枪杆子里面出政权”的小册子，遭到过许多人的责难。谭震林的话佐证了毛泽东“武装割据”的观点，毛泽东听后非常高兴。
1928年3月，“左”倾盲动主义传入边界，毛泽东的前委书记职务被撤销，改任师长。部队被迫调往湘南，白色恐怖笼罩边界，一部分人看不到红军和“工农武装割据”的前途，感到“前途渺茫”，于是发出“红旗到底能打多久”的疑问。
谭震林以切身体会，态度鲜明地说：“什么红旗到底能打多久？反正我们手里有枪，没有被敌人夺走，红旗就能打下去，枪杆子越多，红旗就能打得越久。现实的例子就是王佐，他手里有枪，敌人对他没办法，他就能在井冈山立脚。历史上的农民起义，军阀割据，他们也都是依靠手里有武装。”谭震林的话实际上也是“枪杆子里面出政权”的最好解释，对此毛泽东曾给予很高评价。后来，毛泽东把谭震林等人朴素的革命思想加以提高、升华，写成《中国的红色政权为什么能够存在》等光辉论著。几十年后，毛泽东仍没有忘记谭震林对“武装割据”理论的支持。即使在“文革”期间，毛泽东还经常对人说：“第一个赞成枪杆子里面出政权的是谭震林。”