“皖南事变”发生后不久，中央军委发布命令重建新四军军部。八路军第5纵队奉命改编为新四军第3师，黄克诚任师长兼政治委员。新四军第3师兼苏北军区，黄克诚同时担任军区司令员、政治委员，辖淮海、盐阜两个军分区。
1941年7月，日军对以盐城为中心的苏北根据地发动了大规模“扫荡”，妄图消灭我华中局及军部首脑机关，摧毁抗日根据地。黄克诚率第3师部队利用河网港汊复杂地形对“扫荡”之敌阻击、侧击歼敌，攻占敌伪占据的部分市镇，牵制了敌之行动。在苏中新四军第1师部队积极出击支援下，敌兵力开始南移，对苏中进行“扫荡”。黄克诚指挥第3师主力部队随即转入全面反击，策应苏中，连续收复阜宁、东沟、建阳等城镇，使敌顾此失彼。
1942年11月，日本华北派遣军调动了日军第17师团一个旅团及伪军第36师等部，开始对苏北淮海区进行分进合击式的大“扫荡”。黄克诚指挥军分区部队，在地方武装和民兵的配合下，开展游击战，消耗、疲惫、迷惑敌人，大部分主力部队则从敌合围间隙跳到边区，寻机歼敌，经过反复周旋，使敌人处处扑空，被拖得精疲力竭。敌“扫荡”临近结束之际，黄克诚集中优势兵力发动了春季和夏季攻势，先后拔除敌伪据点35处，使根据地基本恢复到“扫荡”前的态势，粉碎了日军对淮海区的大“扫荡”。
1943年2月，日伪又集中了2万兵力在海、空力量配合之下，对盐阜地区进行疯狂大“扫荡”，黄克诚避开敌人主力与敌人周旋，采取内线与外线、分散与集中相结合的战法，开展反“扫荡”斗争。在敌人开始合围时，黄克诚以一部主力沿途阻击袭扰，消耗、疲惫敌人，大部主力则转至敌侧后，寻机反击。敌人合击扑空后，黄克诚迅速集中兵力，袭击敌据点，同时命令地方武装和民兵积极展开袭扰战，陷敌于四处挨打的境地。敌人被迫开始撤退，黄克诚集中3师主力部队进行反击，取得黄营子、单家港等战斗的胜利。至4月中旬，历时两个月的盐阜区反“扫荡”胜利结束。
抗日战争进入最后阶段，八路军和新四军转入战略反攻，经过抗战烽火的锻炼，黄克诚指挥的新四军第3师迅速发展壮大，主力和地方部队已拥有7万余人。此时，在整个苏北地区敌我力量的对比上，不但在政治上占有绝对优势，而且在军队的数量和质量上，也明显地超过敌伪。敌伪虽然麇集几座县城，深沟高垒，但是，他们早已陷入解放区军民的重重包围之中，已成瓮中之鳖。1945年8月，毛泽东电示华中局：“迅速设法占领运河沿线及串场河沿线各城市，将苏中、苏北、淮南、淮北打成一片。”为肃清苏北敌伪，解放淮阴、淮安，黄克诚率新四军第3师发起了两淮战役。
根据华中局和新四军军部命令，黄克诚采取集中优势兵力，分割包围、各个歼灭的战法，首先以刘震指挥的第10旅攻取淮阴，然后以第7旅、第8旅和地方武装攻取淮安。
9月6日14时战斗打响，刘震指挥第10旅第28团第l营通过地道对淮阴城墙实施重量爆破成功，突击分队仅用5分钟即登上城头，在东门城头上插上第一面红旗。经过一个半小时的战斗，城内守敌残部先后投降，淮阴遂于当日解放。
淮阴战斗胜利后，黄克诚命令第10旅主力迅速开抵淮安城下，接着又命令第7、第8旅从淮南东返，先后进至淮安城下。各部队运用淮阴攻城的经验，构筑了10余个高于城墙的制高火力点，挖掘了直通城墙底部的长达150米的地下坑道。同时对敌展开政治攻势，发出通牒。淮安守敌拒不投降，并且组织百余人的敢死队，企图突围脱逃。22日8时，黄克诚下令对淮安守敌发起总攻，第8旅第22团通过地道隐蔽地进至城根，以预先运去的重磅炸弹在城西南炸开大缺口，后续部队立即拥入。第7旅第19团、第20团破敌城墙一线防御向敌纵深突击。战至10时，城内守敌全部被歼，伪旅长吴漱泉被击毙，号称“铁打的淮安”即告解放。
黄克诚指挥两淮战役取得胜利，使苏北、苏中、淮南、淮北解放区连成一片，为华中人民解放战争准备了战场。