当第一阶段战斗刚开始的时候，粟裕又在考虑下一阶段的作战计划。华东野战军副参谋长张震回忆：粟总同我商量，拟在歼灭黄百韬兵团后，乘胜扩张战果，力争将南线敌主力歼灭在徐州及其周围。我完全赞同他的想法，因黄百韬部不久将被解决，这样，我华野十几个纵队腾出手来，同中野紧密配合，就可在徐州附近打更大的歼灭战。从军事上讲，一旦把敌军的主力悉数歼灭于江北，那么，在尔后渡江作战和最后解放全中国的过程中，就不会遇到太大的抵抗了，江南的许多城市就能免遭战火的损失，从而很快为全国胜利后的经济建设发挥积极作用。所以，我们主张在歼灭黄兵团后，不必再按原定计划，以主力向两淮进攻，而应转向徐蚌线进击，抑留敌人于徐州及其周围，尔后分别削弱与逐渐歼灭之。11月8日，粟裕、张震将上述意见上报军委。9日，中共中央军委复电：齐辰电悉。应极力争取在徐州附近歼灭敌人主力，勿使南窜。这又是一个重大的战略决策。这样，就把原来以歼灭徐州右翼集团敌军为主的目标，扩大到求歼徐州国民党军主力，把原来仅限于两淮、海州地区的作战，扩大到了徐州、蚌埠，"小淮海"变成了"大淮海"。
为了实现这个战略目标，根据中共中央军委的指示，中原野战军以突然行动在11月16日凌晨攻克安徽宿县。宿县是津浦铁路上徐州和蚌埠之间的枢纽。徐蚌段一被切断，不仅可使徐州刘峙集团粮弹两缺，而且隔断了蚌埠的国民党军刘汝明、李延年两个兵团北援徐州的道路，封闭了徐州国民党大军沿津浦铁路南逃的大门，使它仿佛置身在一个孤岛上。这标志着淮海战役已实现从徐东会战发展成南线决战，为夺取淮海战役的全胜创造了重要条件。
随着淮海战役的规模越来越大，随着华东野战军和中原野战军已紧密协同作战，为了统筹领导，中共中央军委在11月16日电示：决定由刘伯承、陈毅、邓小平、粟裕、谭震林组成总前委，以邓小平为书记。
淮海战役的第二阶段，从11月23日至12月15日，主要目标是消灭国民党军精锐之一的黄维兵团。
黄维兵团有4个军10个师及一个快速纵队，共12万人，其中第十八军是陈诚赖以起家的主力部队，全部美械装备，除坦克、重炮外，还配有冲锋枪、火焰喷射器等，军官都是军校毕业生，有较强的战斗力。他们原来驻在河南确山、驻马店一带。淮海战役开始后，奉蒋介石命向徐州增援，匆忙开拔。
11月23日，解放军主力开始同正在运动中的黄维兵团作战，展开猛烈攻击。黄维发现态势不利，退缩到宿县西南的双堆集一带。25日，中原解放军完成对黄维兵团的合围。黄维自恃武器精良，采取环形防御，固守待援。他还下令将所有的汽车装满土，同被打坏的坦克一起排成一字长蛇，构成如城墙般坚固的防御工事。并采取以攻为守的战法，每天抽调1至3个有力团配以战车和炮兵的火力，向解放军阵地突击。
更严重的情况是，国民党军统帅部为了挽救黄维兵团和扭转南线败局，实行南北对进：由于津浦铁路无法打通、徐州已完全孤立，决定放弃徐州，命令杜聿明指挥邱清泉、李弥、孙元良3个兵团经永城、蒙城南下，先救出黄维兵团，再一起南下；又命令刘峙到蚌埠，指挥李延年、刘汝明两个兵团北上，接出黄维兵团到蚌埠。这两路进攻，来势都很猛，只要有一路挡不住，都会造成难以预料的严重后果。粟裕回忆说：淮海战役中最紧张的是第二阶段。我曾经连续七昼夜没有睡觉，后来发作了美尼尔氏综合征，带病指挥。
怎样应对这种严峻的局面？总前委反复进行研究，决定首先全力歼灭黄维兵团，在北面暂取守势阻止杜聿明部南下，在南面增加阻击李延年、刘汝明兵团的兵力。刘伯承曾风趣地把这一战役部署比喻为胃口很好的人上酒席，嘴里吃着一块，筷子夹着一块，眼睛又盯着碗里的一块，说我们现在的打法，就是吃一个（黄维兵团），夹一个（杜聿明集团），看一个（李延年、刘汝明两兵团）。
在南北两面的阻击中，李、刘兵团战斗力较弱，迟迟不进，一遇到解放军阻击就后缩，最艰难的是如何挡住从徐州南下的杜聿明集团。粟裕回忆道：杜聿明于12月1日率30万人全部撤离徐州。我们以多路多层尾追、平行追击、迂回截击、超越拦截相结合，尽全力追击。实际上我们对杜聿明是网开三面，你向西去也好，向北去也好，向东去也好，就是不让你向南。其他方向都唱空城计。说明我们的力量也差不多用尽了。12月4日拂晓，我们将杜聿明集团全部合围于陈官庄地区，并于12月6日全歼了向西南方向突围的孙元良兵团，仅孙元良化装逃脱。杜聿明被我们夹住了，这时我才松了一口气。在此以前，战场形势还有很大的不确定性；在此以后，我们已有把握夺取全战役的胜利了。
解放军将黄维兵团合围后，发动全面攻势。在解放军的紧围和不断打击下，黄维兵团防御体系逐步瓦解，兵力不断消耗，士气日益低沉。继廖运周师起义后，又有黄子华师投降。到12月15日，黄维见局势已经无望，下令突围，事实上只是四散逃命。但已无法逃出，黄维等被俘，黄兵团全军覆没。
淮海战役的第三阶段，从1949年1月6日至10日，在河南永城东北的青龙集、陈官庄地区围歼从徐州西撤的杜聿明集团。
这个阶段，尽管杜聿明集团被围在这个地区的还有20多万人，包括第五军这支精锐部队，但局势已经明朗，胜负已无悬念。问题只在从全局来看，何时发动总攻最为有利。当时，中共中央军委要求华东野战军先"围而不打"，目的是稳住华北的傅作义集团，避免他们见势不妙而下决心由海路南撤。同时，也便于拖住饥寒交困的被围国民党军，对它进行瓦解工作，以尽可能地减少解放军的伤亡，用最小的代价来换取总攻的胜利。
华东野战军在这里从容休整20天后，平津已经合围，傅作义集团已无法南撤。他们便从1949年1月6日起发动总攻势。经过4天激战，俘获杜聿明，击毙邱清泉，全部歼灭了杜聿明集团。蒋介石在日记中写道：杜聿明部大半（今晨）似已被匪消灭，此为我黄河以南地区之主力，今已被歼，则兵力更形悬如。一时之刺激悲哀，难以自制。
淮海战役作战66天，消灭国民党军队共55.5万多人。毛泽东称赞说：淮海战役打得好，好比一锅夹生饭，还没有完全煮熟，硬是被你们一口一口地吃下去了。
这样，国民党军队在南线的精锐部队已完全丧失，华北、华东、中原三大解放区已连成一片。人民解放军迅速南下，直抵长江北岸，为渡江作战取得全国胜利创造了极为有利的条件。国民党政府的首都南京直接暴露在解放军面前。国民党的统治已陷入土崩瓦解的状态。
平津战役
淮海战役刚进入第二阶段，东北野战军和华北军区第二、第三兵团又在华北地区发动了平津战役。
国民党方面在华北地区，有华北"剿总"总司令傅作义指挥下的部队共60多万人。他的主力部队部署在东起北宁线的滦县，西至平绥线的柴沟堡，约1200多里的狭长地带，以北平、天津、张家口、塘沽、唐山为重点，摆成了一字长蛇阵。这些部队中，一部分是傅作义从绥远带出来的嫡系部队，还有相当大部分是蒋介石在抗战胜利后运来华北的中央军。在具体兵力部署上，傅作义是煞费苦心的。他有意把蒋系部队摆在北宁线，把傅系部队摆在平绥线，一旦东北我军入关，蒋系部队首当其冲，而傅系部队在不利情况下，可以向绥远逃之夭夭。辽沈战役结束后，蒋介石把傅作义叫到南京，告诉他：华北必须固守，非万不得已不得放弃，并全权任其决定。
人民解放军投入这次战役的有100万人，在兵力上已大大超过华北的国民党军队。东北全境已经解放，部队是胜利之师，士气高昂。国民党军队却如惊弓之鸟，士无斗志。东北野战军在辽沈战役刚结束就这样快入关，完全出乎国民党当局意料之外，他们以为东北野战军在经历辽沈战役这样一场大仗后至少要经过3个月休整才能进关，因此各方面都部署未定，陷入手足无措的慌乱状态。
解放军所以要如此迅速地突然发动这次战役，就是要趁华北国民党军还没有下决心从华北撤走之际，把它们紧紧拖住，既不让傅系军队向西退回绥远老巢，又不让蒋系部队向东从海路撤走，而就地加以消灭。
面对着国民党军队那条一字长蛇阵，仗从哪里打起？中共中央军委决定：从西线打起。当时，聂荣臻率领的华北解放军的兵力还没有完全集中起来，林彪、罗荣桓指挥入关的东北野战军的先遣部队还刚开始进入冀东地区。如果国民党军队立刻决策撤走，很难加以阻止。解放军当时能立刻使用的机动兵力是华北军区的第二、第三兵团（第一兵团徐向前部正包围太原）。11月24日，毛泽东电令原正围攻归绥（今呼和浩特）的华北第三兵团杨成武率3个纵队火速东进，突然包围张家口，不是立即夺取之，而是吸引敌军增援。29日，部队到达作战地区，平津战役打响。这里是平津和绥远之间必经的咽喉通道。
傅作义果然派驻在北平附近的傅系精锐主力第三十五军火速乘火车、汽车增援张家口。东北野战军主力这时分路经冷口、喜峰口越过长城，向平津急进，突然出现在北平东北的密云一带。这个行动使傅作义大为震惊，以为解放军将直取北平，又急令几天前刚西援张家口的第三十五军乘400多辆汽车撤回北平。12月8日，第三十五军在撤回途中的新保安镇被从石家庄以北赶来的华北第二兵团杨得志部团团围住。傅作义得知这一消息，真可以说是惶惶不可终日了。用郭景云（第三十五军军长）的话来说：不要说整个三十五军，就是那400多辆汽车，也是傅总司令的命根子，不能不要。傅作义在指挥上已经完全混乱了。
为了防止国民党军队在陆续入关的东北野战军部署完成前决策突围撤走，12月11日，毛泽东为中共中央军委起草致林彪、罗荣桓电，要求两星期内基本原则是围而不打（例如对张家口、新保安），有些则是隔而不围（例如对平、津、通州），以待部署完成之后各个歼敌。尤其不可将张家口、新保安、南口诸敌都打掉，这将迫使南口以东诸敌迅速决策狂跑。
12月下旬，各方面部署大体就绪。22日，华北第二兵团对新保安发起总攻，迅速全歼第三十五军。24日，华北第三兵团解放张家口，全歼傅系部队。傅作义不仅丧失了他赖以起家的基本部队，也被切断了西撤绥远的退路。在东线，东北解放军解放了唐山等地，完成了对天津、塘沽的包围。傅作义已陷入欲撤不能、孤立无援的绝境，为和平解放北平奠定了基础。
在这种情况下，傅作义已在考虑和平解决北平的问题，但还存有种种顾虑。
1949年1月14日，东北野战军在东线下达了总攻天津的命令。这一仗打得干脆利索，经过29小时激战，在第二天解放了国民党军重兵守备、坚固设防的天津城，守军13万多人全部被歼。解放军同傅作义的谈判也已开始。20日，傅作义接受了人民解放军提出的条件，接受改编。蒋介石到23日方得知，在日记中叹道：此事殊出意外。
持续64天的平津战役，以军事打击和政治争取并举的方法取得了完全胜利，歼灭和改编国民党军队共52万多人，并且使北平这个文化古都完整地保存了下来。
辽沈、淮海、平津三大战役，无论是战争的规模还是取得的战果，在中国战争史上都是空前的，在世界战争史上也是罕见的。这三大战役共歼灭国民党军队154万人，使国民党赖以维持统治的主要军事力量基本上被摧毁，中国革命在全国胜利的大局已定。