黄伯韬兵团被围于碾庄圩狭小地区后，刘峙、杜聿明在蒋介石的多次督责下，以邱清泉兵团三个军、李弥兵团两个军共十二个师，从12日开始东援，敌人虽然在飞机、大炮、坦克支援下向我阻援各纵队发起了猛攻，但我担任阻击的各纵队顽强抗击，我苏北兵团也从其侧翼和侧后进行了积极的攻击和袭扰，使增援之敌也陷于被围击的泥潭之中，前进迟缓，增援不济。而这时，担任围歼黄伯韬兵团的各纵队，自12日开始，从四面八方对敌展开猛攻。由于敌逐村顽抗，我又是由运动中仓促转入对村落防御之敌实施攻坚作战，准备也不够充分，开始进展不大。随即各纵队及时改变战术，采取“先打弱敌，后打强敌，攻其首脑，乱其部署”的战法，集中优势兵力于一点，轮番连续攻击，保持了持续的突击能力。各纵队首先集中力量协同歼灭了较弱的第四十四军、第一百军。各攻击部队也是集中优势兵力采取对壕作业，逐点分割，逐点攻击，逐点歼灭的战法，战至18日，敌第四十四军、第一百军被歼灭，第二十五军、第六十四军遭到严重打击，黄伯韬兵团部所在碾庄圩已暴露于我攻击矛头之下。19日晚，总前委根据此时敌我双方态势和战局进程，决定各纵队从各方向向碾庄圩发起总攻。战至20日拂晓，我即攻占了碾庄圩敌全部阵地，黄伯韬逃至大院上，继续组织第二十五军、第六十四军残部负隅顽抗，我各纵队乘胜攻击，战至22日黄昏，将黄伯韬兵团全部歼灭，黄伯韬被击毙。淮海战役的第一阶段作战胜利结束，我合歼黄伯韬兵团等部共十八个师（其中三个半师起义），斩掉了刘峙集团的一只臂膀，切断了徐蚌线，将敌分割成互不联系的几块，也完成了对徐州的战略包围，争取了下一步作战的主动。
二、集中优势兵力歼灭黄维兵团
将黄伯韬兵团歼灭后，淮海战役的第二步怎么打？歼灭的主要目标是谁？由哪些部队来打？这是邓小平和总前委很早就开始酝酿的一系列问题。这期间，曾先后提出了三个作战方案：一是先打位于徐州地区的邱清泉、李弥、孙元良兵团；二是先打位于蚌埠、固镇地区的李延年、刘汝明兵团；三是先打被阻在宿县以西地区的黄维兵团。但综合分析淮海战场的形势，邓小平和刘伯承、陈毅根据黄维兵团孤军突进这一情况，认为集中优势兵力歼灭黄维兵团的战机甚好。于是向中央军委和毛泽东提出了先打黄维兵团的方案。电文说：“如敌（指黄维）出永城和宿县，我以集中一、二、三、四、六、九及华野三、六共八个纵队，歼击黄维为上策。”因为“黄维兵团远道疲惫，脱离后方于运动中，只先来三个军七个师，其强师只有三个，中野能适时集中优势兵力歼灭之。”尤其是11月23日当奉命北上的李延年、刘汝明两兵团畏惧被歼，迟迟不进，而黄维兵团则不顾兵惫粮缺，强渡淮河，突出冒进，在南坪集地区与中原野战军接战时，邓小平和总前委认为：“歼灭黄维之时机甚好。”即日12时向中央军委提出建议：以中原野战军全部及华东野战军一部首先歼灭黄维兵团，以华东野战军主力阻击徐州和固镇地区敌之增援部队，并争取歼灭李延年、刘汝明兵团各一部。24日15时，中央军委复电总前委：“（一）完全同意先打黄维；（二）望粟陈张遵刘陈邓部署，派必要兵力参加打黄维；（三）情况紧急时机，一切由刘陈邓临机处置，不要请示。”这样，经过中央军委、毛泽东及邓小平和总前委的反复权衡，确定了淮海战役第二阶段的作战目标是歼灭黄维兵团。
以邓小平为书记的总前委为贯彻中央军委和毛泽东关于“先打黄维兵团”的决心，决定以中原野战军的第四、第九纵队，豫皖苏军区独立旅，前出至南坪集地区，与黄维兵团保持接触，并将该敌诱至泠河以北，利用泠河隔断敌人。以第一、第二、第三、第六纵队和刚归建的第十一纵队，隐蔽集结在泠河以南的曹市集、五沟集、孙田童集、胡沟集一线，待黄维兵团在泠河处于半渡状态时，分别由东西两翼实施向心攻击，配合正面各纵队，将敌包围分割，各个歼灭。华野的第七纵队和特纵炮兵一部归中野指挥，参加歼灭黄维兵团的作战。另外，为了保障中野围歼黄维兵团作战，总前委还决定以华东野战军的第二、第六、第十、第十三纵队，进至宿县、西寺坡地区，阻击李延年、刘汝明两兵团的北援，力求残其一部，以保障中原野战军围歼黄维兵团作战的侧背安全。以华东野战军的第一、第三、第八、第九、第十二、鲁中南、两广纵队及冀鲁豫军区独立第一、第三旅，进至徐州以南夹沟至符离集之间，跨津浦路两侧，构筑多道阵地，阻击徐州之敌南援。从上述的作战部署看，以邓小平为书记的总前委实际上是动用了二十一个纵又三个旅的兵力来围歼黄维兵团，构成了中野部队在内圈，华野部队在外圈的双层包围圈，从而对拥有十二万兵力的黄维兵团形成了绝对优势（纵队约两万人）。这对确有把握地实现中央军委、毛泽东的战略意图，奠定了力量基础。
黄维兵团为了尽快渡过泠河迅速向李延年、刘汝明两兵团靠拢，以摆脱孤军冒进突出的险境，于11月23日在飞机、坦克的掩护下使用了火焰喷射器、榴弹炮，兵分三路向南坪集地区发起了猛烈的攻击，担任坚守南坪集的第四纵队，从早晨8时打到黄昏日落，敌始终未能接近阵地。此时，邓小平认为我中野各纵队已按预先部署全部占领了指定位置，基本形成了“口袋”阵地，于是与刘伯承、陈毅研究决定放弃南坪集，诱敌进入我预设“口袋”以围而歼之。于是，于当日夜，担任正面阻击的中野第四纵队一部和第九纵队一部乘夜暗撤离南坪集，转至徐家桥、朱口、伍家湖、半埠店一线，此时中野的第三纵队占领了孙町集，第一纵队占领了郭家集、界沟集，第二纵队占领了白沙集，第六纵队及陕南军区第二十旅占领了曹市集，第十一纵队占领了胡淘集，由此形成了严密的“袋形”阵地，只待黄维兵团在泠河处于半渡状态时，采取四面包围，向心突出的战法，将该兵团分割围歼于泠河南、北地区。
中野第四、第九纵队撤出南坪集，黄维果真不知有诈，以为是先头的第十八军突出成功，随即命令该军主力经南坪集迅速北渡泠河，其他各军陆续跟进。11月24日中午，黄维兵团前出到忠义集、东平集、杨庄、七里桥、朱口地区，“对泠河北岸的解放军阵地继续攻击，逐渐突入解放军之袋形阵地”。当黄维兵团十几万人马处在潢河、北淝河和泠河之间的狭窄地带，背后的北淝河和潢河已成为行动障碍时，发现两翼有解放军的强大兵力隐蔽集结，自知中计，“整个战役中先后发现中原解放军七个纵队和华东解放军两个纵队的番号，当时认为解放军是以几倍的兵力”。形成了围攻布势，遂下令已过泠河的部队迅速回撤。邓小平发现敌人要回缩，当即以总前委的名义命令各纵队乘敌人战斗队形混乱之际展开猛烈的攻击，中野的第一、第二、第三纵队由西向东攻击，控制了芦沟集及附近地区；在蕲县集以西的第十一纵队由东向西攻击；位于泠河以北的中野第四、第九纵队及豫皖苏独立旅对敌实施追击，将敌过河部队全部赶到泠河以南；中野第四、第九纵队及陕南第十二旅由南向北压缩；华野第三、第七、第十三纵队兼程南下，进占宿县、桃园集、蕲县集地区，由此，我两大野战军共集中了十一个纵队迅速将黄维兵团的十二万人马四面包围在以双堆集为中心的东西不到十公里，南北不到五公里的狭长地域之内。邓小平和刘伯承、陈毅估计：“三天内可能解决战斗。”尽管黄维兵团无数次的组织突围，不但毫无效果，反而包围圈越打越小，兵力越打越少。与此同时，我军又展开了政治攻势，使国民党军纷纷投降，战斗力大衰。正如兵团司令黄维回忆所说：“在开始的几天中，每天都抽调一至三个主力团配以战车和炮兵的火力，向解放军的阵地据点突出，当时的企图是以攻为守，想扩大所占地区和阵地据点。但是，军、师长们宁愿把兵力麇集于狭小地区之内，不敢疏散兵力，扩大阵地。这样几天之后，解放军的阵地工事和攻击准备逐渐完成。”
12月5日11时5分，刘伯承、陈毅、邓小平发布《总攻黄维兵团的命令》。总攻部队组成了三个突击集团：中野的第四、第九、第十一纵队及豫皖苏军区独立旅组成东集团，由第四纵队指挥员统一指挥，担任主要突击，歼灭沈庄、张围子、张庄地区之敌；中野第一、第三纵队、华野第十三纵队组成两集团，由中野第三纵队指挥员统一指挥，歼灭三官庙、马围子、玉王庙、许庄地区之敌；中野第六纵队、华野第七纵队及陕南军区第十二旅组成南集团，由中野第六纵队指挥员统一指挥，歼灭双堆集以南玉王庙、赵庄及其以西前周庄、周庄、宋庄之敌。尔后，三个突击集团合力总攻双堆集。6日下午4时30分总攻开始。三个突击集团以优势兵力和火力，实施有重点、多方向的连续突击。各部队虽受到一些阻击，伤亡较大，但士气越打越高，战术技术越打越精通，战斗作风越打越顽强，攻击效果越来越明显。许多部队的连排干部伤亡后，战士、班长，甚至司号员、卫生员都自动代理指挥。就这样，三个突出集团不分昼夜地连续突击，大量地消耗了黄维兵团的实力，敌虽然也多次组织突围，均以失败而告终。战至15日晚，黄维兵团的四个军十一个整师共十二万人余部被消灭。至此，淮海战役第二阶段歼灭黄维兵团的作战，以集中优势兵力，各个歼灭敌人的胜利而告结束。总前委成员之一的刘伯承专题总结双堆集歼灭战斗经验时说：“双堆集歼灭黄维军一战，则为承先启后的关键。由于我在津浦两侧从黄维军的外翼开始围攻，而杜聿明则欲从徐州西南拊我外翼以与李延年军协援黄维，因而被歼灭于永城东北地区。双堆集歼灭战以运动战始，以阵地战终，以消耗敌人始，以围歼敌人终。我在转换关头上运用不同战法而持之以顽强，必须着重研究而发扬！”邓小平在写给中央军委、毛泽东的总结报告中指出：“歼灭黄维时，各部均下了最大决心，不顾任何代价，消灭黄维的意志一直贯彻到下面，故在整个作战过程中，各纵队虽经过三次到四次的火线整编，没有叫苦的。”
三、集中优势兵力歼灭杜聿明集团
在我中原野战军与华东野战军密切配合，连续作战，将黄维兵团死死围困在双堆集地区行将歼灭的形势下，邱清泉、孙元良两兵团被阻于徐州以南的孤山集、四堡、楮兰及以北一线无法南下，李延年、刘汝明两兵团退守集淝河以南及怀远等地区，这使蒋介石南北对进，打通津浦路徐蚌段的作战计划无法实现，固守徐州也更加困难，为此，蒋介石决定“放弃徐州，出来再打”。由杜聿明统一指挥邱清泉、李弥、孙元良三个兵团撤出徐州。企图第一步沿徐州至永城公路经萧县撤至永城附近；第二步撤至蒙城、涡阳地区，然后再向北攻击，解救黄维兵团。
对蒋介石放弃徐州南逃的企图，中央军委、毛泽东和总前委早有预见，在中原野战军围歼黄维兵团作战时，中央军委就致电总前委刘伯承、陈毅、邓小平：黄维解决后，须估计到徐州之敌有向两淮或向武汉逃跑的可能。根据中央军委、毛泽东的指示，邓小平及总前委一面指挥围歼黄维兵团的作战，一面又指示华东野战军调整部署：第二、第十、第十一等纵队停止向南追歼李延年兵团，而是向北转移至宿县、灵璧、固镇及宿县东北地区，转为预备队，准备支援围歼黄维兵团作战；或准备协同徐南各纵队，诱歼邱、李、孙三个兵团于徐州，夹沟两侧地区。如邱、李、孙三兵团向东南突围时，适时机动截击。