在第一阶段作战中，粟裕曾反复思考怎样才能更好地实现中央关于巩固鲁南的指示，认为枣庄是敌人在鲁南的重要据点之一，有较强的工事，在我军出击方向的翼侧，如果不打下来，我军一出击，敌人就会依托那个据点从侧后攻击，对我十分不利。为了打开鲁南的局面，创造较好的战场条件，只打下峄县不行，还须攻克枣庄。攻打枣庄，尽管付出的代价会更大些，但对打开鲁南局面极为重要。
战役第一阶段结束后，发现寻歼敌第33军的战机已失，粟裕便向陈毅提出在战役第二阶段同时攻取峄县、枣庄的建议。陈毅立即同意这个建议。陈、粟对下一步作战部署拟出了具体方案：
除以第8师、第9师、第4师第10团及滨海警备旅按原计划攻取峄县外，调第1师迅速北上攻取枣庄、齐村；调第1纵队及刚从苏北赶来之第13旅，在峄县西南的文峰山、望仙山、白山一线，阻击可能由韩庄、台儿庄出援之敌。另将第10师放在临城、齐村之间，阻击可能由临城东援之敌；鲁南第1军分区1个团进至临城、沙沟之间，开展游击活动，破坏铁路公路，断绝敌人交通。为掌握较大的机动力量，又从南线部队中抽调第2纵队、第6师至沂河以西、兰陵至台儿庄公路以东地区，隐蔽集结，待机参战；留第7师、第9纵队，由谭震林指挥，牵制由沭阳北犯之敌。这一作战方案很快得到中央军委的批准。为了及时、准确地掌握战场情况和指挥部队作战，由粟裕率部分人员组成轻便指挥所，于1月9日拂晓到达峄县、枣庄前线指挥作战。
峄县是临枣铁路支线上的一个重镇，是敌人在鲁南逃犯我解放区的一个前进阵地。守敌为整编51师114旅（欠1个团）、整编52师33旅98团，以及整编26师、第1快速纵队的残部和保安团（队）共1万余人，统由整编26师师长马励武指挥。但因建制多，派系矛盾深，故难以统一动作。峄城虽小，但很坚固，且地形对敌有利。城墙用大青砖砌成，顶部较宽，城外有护城河，城东有云山要点，城南有南关屏障，城西有河流阻隔，城北地形开阔，宜守不宜攻。抗日战争时期，日伪就有设防，后又经国民党军经营，加强了工事，在护城河的各桥上设有多层障碍物，在外围控制了云山、罐盆窑、邵家楼、南关等要点，以掩护城防。敌人企图固守坚城。等待援兵，伺机再举。
我军的具体部署是：9师、4师10团首先攻占云山、罐盆窑，而后由北面和东面攻城；滨海警备旅攻歼邵家楼之敌；8师由南面、西面攻击。
8师具体部署为：以22团和师直特务营为攻城第一梯队，主要突破点在南门；13团向城西迂回包围，阻敌溃逃；23团攻克南关后为师预备队。
9日晚上，我24团攻占火车站，城外的敌人已被扫清，城墙城门全部暴露，我军战地指挥员进行实地侦察之后，决定就在护城河外边，离敌人只有五六十来远处，利用晚上构筑好炮兵和重机枪工事，并把任务分配给每一门炮和每一挺重机枪。对每一个城墙垛口都组织了交叉火力加以封锁。我军攻城部队于10日占领进攻出发阵地，22团以1、3营和师直特务营从南门实施主要突击，2营在城西南角担任助攻。当晚10点30分，我军各种火炮逐次开始射击，南门的敌前沿工事大部被摧毁，火力点被压制。在炮击的同时，担任突破的22团3连开始爆破，第一爆破组在炮火掩护下，炸开通路。但只把城门炸了一个小洞，冲击部队无法通过。接着，第二爆破组奋然跃起冲上去，以一个20公斤的大炸药包将城门炸开一个缺口，3连立即发起攻击，突击班一举冲进城门。
城门洞内挤满了防炮的敌人，在我爆破威力的震撼下，他们晕头转向，混乱不堪。但是城楼两侧敌坦克机枪还在射击，威胁着我后续梯队。突击班顾不上和城门洞内的敌人纠缠，利用爆破后的烟雾硬从敌群中挤过去，直扑城门楼。
这时，城门楼上的敌人，已乱作一团，突击班5个人的刺刀，随着一阵猛烈的手榴弹的爆炸声，在敌人窝里舞开了。不一会儿，城门楼的敌人被肃清了，但西城墙上的敌人又冲了了来，而且西南角高楼上的敌人也以密集炮火向南门楼轰击，突击班班长张兴良伏在地上，指挥着大家静候敌人的靠近。敌人越来越近了。“投弹！”班长突然叫了一声，5个人的手榴弹一齐向敌人掷去。只听“轰”的一声，敌人随着这声音接二连三地往下滚去。接着他们又连续打退了敌人的三次反冲击，他们5个人中虽然3人负了伤，但一直坚持到我大军入城。
接着1、3营和师直特务营相继突入城内；2营于西南角架梯突破未成，迅速转入南门突破口进入战斗。师第一梯队全部进入城内后，1营沿东城墙上下，3营和特务营沿南北大街，2营沿西城墙上下向北攻击前进。此时敌以步兵、坦克由北向南沿大街反冲击，被我3营和特务营击退，俘获敌坦克5辆。
天主堂是峄城城内马励武的指挥所，工事坚固，有顽敌死守。当我24团攻入天主堂院内后，敌人就隐蔽在厕所里向我军猛烈射击，我军立即伤亡了十几位战土。我军立即组织攻击，经过一番激战，消灭了厕所里的顽敌，攻占了天主堂。
打进峄城后，我军首先占领了东面和南面，并在城东南角设立了战俘收容所；由于俘虏过多，没法逐个押送，只得在他们放下武器后，命令他们自己到城东南角安全地带去集中。多数俘虏比较老实，自己去报到集中，但也有乱跑或想溜掉的，所以有的被我们俘虏过多次，马励武就是其中的一个。他丢掉了中将制服，穿上了士兵的棉服和棉大衣，到处乱窜乱躲，先后六次逃跑，都被我军抓获。后来马励武感叹地说：“我一个晚上被你们俘虏了六次．真是天罗地网啊！”
战至11日2时许，城内守敌基本就歼，一部分溃逃的敌人也被兄弟部队和23团歼灭。峄城战斗胜利结束。
枣庄，“金池坚城”成泥城
枣庄地处沂蒙山南端，位于徐州的东北，临沂以西，台儿庄以北。它是徐州的门户和军事屏障，也威胁着我华东野战军司令部驻地临沂的安全，因此，战略地位十分重要。枣庄城墙高约5米、宽3米多，全部为砖石结构，异常坚固。为加强防御，敌人除利用日军构筑的大量永久性了事和坑道外，又新建了大批的集团群堡，增设了电网、堑壕等多种障碍，形成了内外围核心阵地紧密结合的坚固设防。守敌整编第51师师长周毓英吹嘘枣庄防御是“金池坚城”。
1947年1月8日，我1师接到进攻枣庄，歼灭国民党军整编第51师的命令后，立即出发，冒着大雪向作战地域疾进。1师1旅3团团长康林，率领部队按时到达指定位置后，立即开始了紧张的战斗准备。
11日8时，进攻枣庄外围的战斗打响了。经过一天的激战，3团先后占领了城西外围敌人的据点，部队直抵枣庄城墙脚下。与此同时，2团和3旅的部队也都肃清了枣庄外围之敌，完成了对枣庄的合围。
1月12日，部队进行攻城准备。康林与团政委谭成章召开作战会议，研究攻城方案。同时，组织全团排以上干部进行现地勘察，熟悉地形，了解掌握敌情。会议最后确定1、2营实施突击攻城，3营为团的预备队。
13日晚21时许，1营奉命发起攻击。一开始发展顺利，部队很快就爬上了城墙：但是敌人凭借坚固的工事，集中火力压制我冲击部队，战士们冒着弹雨向前冲击，前面的倒下了，后面的跟上去，冲上去的战士爬上城头，跳进城内与敌人展开了肉搏，终因寡不敌众，全部壮烈牺牲。1营先后组织了几次冲击，均未获得成功，部队伤亡很大。因此，康林立即向旅部建议，暂时停止进攻。
为使1师全力歼灭枣庄之敌，野司于13日命令叶飞率领的1纵攻歼齐村之敌，务于2日内解决战斗。
齐村，位于枣庄以西约3公里处，中部有一条南北沙河，河东是大同子，河西是小围子，围墙外有深宽各2米的外壕一道，外壕外有鹿砦2道。围墙上有高碉堡，围墙内还有小围子、碉堡、暗堡等纵深工事。齐村守敌也是整编51师，该师除1个团于峄县被歼外，师部率直属部队及第114旅驻枣庄，第113旅旅部率第337田及辎重营驻齐村。
我1纵以第1旅担任攻歼齐村之敌。13日晚，1旅进占齐村外围。14日18时开始炮击，实施连续爆破，炸开大围子的石砌围墙，炸毁东南角的大碉堡，随后又炸毁东门门楼。后来在朝鲜战场上牺牲的著名战斗英雄杨根思在此战中大显身手，每炸必成，一个人俘敌100余名。同时，我军也炸开了小围子，全歼敌辎重营。15日白天，击退敌人多次反击。黄昏，总攻敌第114旅旅部及第337团团部所据小围子，3时许，全歼守敌，生俘其少将旅长李玉堂、少将副旅长李朴全以下2500余人。
打下齐村之后，粟裕征求叶飞关于打枣庄的意见，叶飞主张坚决攻下枣庄。粟裕在电话上听了叶飞的意见后，要叶飞到他那里商量决定。叶飞先到1师师长陶勇那里，劝他继续打。陶勇问叶飞齐村方向的情况，叶飞说已经拿下来了，陶勇十分虚心地问叶飞怎么打的？叶飞说，攻坚没有什么秘密，关键是爆破。
接着，叶飞和陶勇一起到粟裕副司令员处，叶飞向粟裕副司令员建议继续打，并说1纵的两个旅还没有用上，他们已学会爆破攻坚，可以让第2旅配合陶勇师打，肯定能打下来，粟裕副司令员知道鲁南8师攻坚经验丰富，所以他提出调8师过来。最后决定增加鲁南8师及1纵第2旅，配合陶勇的第1师围攻枣庄。叶飞调了第1旅第2团加强第2旅，以第2旅第4团和第1旅第2团组成攻城部队。1师由正北、西北、正西、西南同时夹击南大井之敌，并以1个旅围困东大井之敌，鲁南8师第23团由正南老车站、鞠仁医院向东攻击；1纵第2团、第4团由东南向西北对洋街及老枣庄攻击：
17日黄昏，我l纵第4团炸毁东南角地堡，打开缺口，占领天主堂。同时，陶师攻占北大井。
回过头来再说我1师l旅第3团，该团第一次进攻失利后，康林对火力部署作了相应调整，在进攻战术和攻城手段上也有改变：次日晚9点，3团再次发起进攻。战士们不怕流血牺牲，英勇顽强地向前冲锋，几次爬上墙头，都未站住脚，第二次进攻又失利。
两次进攻未成，使战士们深为忧虑，迫切希望指挥员迅速采取对策。康林几经思索，终于找到了问题的症结，两次失利的根本原因在于：3团猛打猛冲，擅长于野战，攻打如此坚固的设防城市还是第一次，部队尚未具备相应的攻坚素质，不会使用爆破技术。为了研究克敌制胜的对策，他们又一次召开了营以上干部作战会议。最后，统一了思想，由康林向旅首长汇报情况，建议暂时停止进攻，先训练攻城爆破技术和战术。
正当康林准备向张震东旅长汇报他们的想法时，师里派人来传达命令：部队停止进攻，要康林立即去师指挥所，汇报两次进攻失利的原因。在师指挥所里，康林见到了粟裕、陶勇、张震东、卢胜等各级首长。康林向他们报告了3团干部会议的情况，他说大家一致决心完成解放枣庄城的任务，但必须改进攻坚战术。办法是挑选出精干的战斗骨干，组成攻城突击分队，分别组成爆破、火力、突击3个组：爆破组炸开城墙开路，火力组掩护；突击组占领突破口掩护部队进城，此外，还准备挖一条地道，直通敌人城墙脚下。这样，既能使爆破组利用地道隐蔽前进，同时又可以减少伤亡，只要爆破成功，部队准能打进去。康林又说，3团善于打野战，而眼下是攻坚部队，需要训练一下。粟裕问需要多长时间康林称需要答应3天时间。
粟裕转身征求了陶勇和张震东旅长、卢胜旅政委的意见之后，又转向康林说：“我们不攻则已，攻则必破。你马上回去组织实施，让广大指战员都懂得爆破技术的重要性，尤其是我们的爆破手们，要学会用爆破来消灭敌人。”
回到团指挥所，康林向团营干部传达了粟裕、陶勇等首长的指示，并进行了具体部署。爆破组、突击队很快编成，经简短的动员，即投入紧张的火线练兵。
19日，粟裕又要康林去汇报攻城的准备情况。康林第二次来到师指挥所，汇报说：“按照首长的指示，我们重点训练了爆破战术。分队不仅训练了爆破战术，同时也注重训练了火力配备，爆破的组织指挥等战术问题。在单兵战术技术普遍提高的基础上，还进行了合练和预演。目前，各项准备工作已经就绪，就等首长下命令了。”粟裕、陶勇等首长商量了一下，便下达了命令：全军攻击枣庄的时间定在当天晚上21点，第二天天黑以前必须拿下枣庄城！
19日晚，万籁俱寂，天黑得伸手不见五指。当时针指向21点时，响起了震耳欲聋的炮声，总攻开始了。顿时，幽静的夜晚像天塌地陷一样。烈焰腾空，枣庄城倾刻间变成了一片火海，经过30分钟的火力准备之后，爆破组随即冲出地道口，扛着三四十公斤的大炸药包，向敌人城墙扑去。骤然间，只听轰隆一声巨响，第一包炸药响了。大地急剧颤抖了一下，接着又是轰、轰、轰…连续几声山崩地裂的怒吼，敌人的城墙已被我爆破组扯开了3米多宽的一个大口子。康林立即命令突击组发起冲击，占领突破口，掩护主力部队进城。被炸懵了的敌人还没有从昏迷中苏醒过来，我突击部队已占领了突破口，1、2营尾随突击队进入城内后，首先稳住阵脚，然后继续向敌整编第51师师部所在地进攻。
为了靠前指挥，康林将团指挥所向前移至突破口上，同时，命令3营立即进城投入战斗。这时，敌人利用高大建筑物组织反冲击，轮番向我军占领阵地进攻。但是，我3团指战员发扬敢打敢拼的精神，击退了敌人数次反扑，而且还占领了敌指挥部前面的一排房屋。
这时，兄弟部队也已突入城内，整个枣庄城的敌人处于一片混乱之中。激战至中午12点，敌整编第51师被我军全部歼灭。此役，我军共歼敌1．1万余人，生俘敌中将师长周毓英以下8000余人，缴获了大量武器弹药。
至此，历时20天的鲁南战役结束，我军共消灭敌人5万余人，取得了辉煌的胜利。
为庆贺鲁南大捷，陈毅诗兴大发，曾以鲁南大捷为题，吟诗一首：
快速部队走如飞，印缅归来自鼓吹。
鲁南泥泞行不得，坦克都成废铁堆。
快速部队今已矣，二十六师汝何为？
徐州薛岳掩面哭，南京蒋贼应泪垂。