1948年1月13日，中央军委致电中共华东局，决定组建苏北兵团和山东兵团，许世友任兵团司令员，时任华野副政委的谭震林兼任兵团政委。
1948年10月11日，中央军委发出《关于淮海战役的作战方针》，许世友、谭震林指挥山东兵团所属第7、第10、第13纵队，由临（城）、枣（庄）线向韩庄、台儿庄发起攻击，首先突破运河沿线，进至徐州以东，切断陇海路，形成攻徐态势。谭震林组织部队发起强大的政治攻势，促使冯治安部起义。
10月23日，在兵团政委谭震林、副司令员王建安指挥下，3个纵队先后从济南进入邹县、滕县以东地区集结。谭震林立即对部队进行战斗动员和攻坚战技术、战术演习，使指战员从思想到技术、战术得到提高，进入临战状态。
战役发起前，兵团领导认真分析了第3绥靖区部队第59军和第77军的情况。这两个军原是冯玉祥西北军的一部分，其内部早有我地下党工作，要尽可能争取冯部起义。谭震林在一次会议上曾向少数领导干部打招呼说：冯治安的两个副司令张克侠、何基沣是我们自己人，工作已有较好基础。同时，冯治安部既有起义的可能，也有与我对抗的可能，而能否争取冯治安部起义，将直接关系到我军能否顺利完成第一阶段作战任务。针对这一情况，谭震林果断提出，淮海战役第一阶段，要么尽速促使冯治安部起义，要么准备7纵去强攻运河。因此，应尽最大努力，在强大军事攻势配合下，去争取冯部起义。否则，必须采取强攻，如此则要付出较大代价。谭震林还当面向8纵司令员成钧、政委赵启明授意，行动坚决迅速，力争冯部起义；冯部如不起义，就设法争取给我军让开路；如冯部既不起义，又不让路，即坚决予以歼灭。
淮海战役打响后，国民党第3绥靖区副司令官何基沣、张克侠两将军率领59军军部及2个师、77军一个半师共约2.3万人宣布起义。消息传来，谭震林、王建安等兵团首长十分高兴，并立即发出指示，命令各部队迅速前进，占领要地，同时派兵团政治部联络部长王兴纲带人持谭震林的信，代表山东兵团前往台儿庄迎接起义部队。
国民党第3绥靖区3个半师在运河一线起义，对于淮海战役的胜利具有重大意义，中央军委来电称之为“是第一个大胜利”。该部起义消息在我军传开后，对我淮海前线几十万大军和百万支前民工鼓舞极大，战斗士气更加旺盛。该部所以能够起义，除了我军强大的军事压力外，一个重要原因就是在谭震林政委领导下，我军强有力的政治攻势和深入细致的敌军工作。一方面在战场上用话筒、广播器喊话，宣传我军政策，另一方面，在以往工作基础上，通过杨斯德等在敌第3绥靖区内部，联络该部原有地下党员积极开展起义组织工作，国民党第3绥靖区副司令官张克侠、何基沣将军，先后在第二次国内革命战争和抗日战争早期加入了中国共产党，是我党的老党员。他们遵照党的指示，长期隐蔽在国民党军内部，冒着生命危险做了许多艰苦细致的工作，在关键时刻率部起义，为党和人民立了大功。
何基沣、张克侠率部起义，为淮海战役第一阶段胜利发展，赢得了宝贵时间。华野粟裕代司令员说：“只要我们在贾汪多待4小时，我们的战机就丢失了。”该部起义后，谭震林、王建安指挥山东兵团所辖第7、第10、第13纵队迅速向南挺进，至11日，全部渡过不老河，先后控制和占领宿羊山、大许家、大庙山、曹八集、苑山等地，占领了徐州以东各要点，截住了黄百韬兵团退路，切断了国民党徐州“剿总”同黄百韬兵团的联系，形成了对黄百韬兵团合围的态势，并抢占了阻击徐州邱、李兵团东援的有利阵地。
1948年11月9日，谭震林、王建安率兵团指挥部移至茸山庄。15日夜开始向黄百韬兵团发起围攻。19日傍晚，谭震林、王建安按照“攻其首脑，乱其部署”的战法，乘胜对碾庄圩黄百韬兵团部发起猛攻。为了攻克这个堡垒，实现被中央军委称之为“第二个大胜利”的全歼黄百韬兵团任务，谭震林、王建安根据华野首长命令及时调整部署，各纵队指战员以突破碾庄圩、捣毁敌人指挥部的坚强决心，与敌展开浴血奋战，守敌节节败退。山东兵团随即指挥第4、8、9三个纵队担负起最后围歼黄百韬残部之任务。
21日晚，第4、8、9纵队向黄百韬所部64军发起最后攻击，敌人第64军和第25军被我军歼灭，黄百韬亦毙命。至此，围歼黄百韬兵团的作战任务胜利完成，淮海战役第一阶段宣告结束。