9月16日，朱德总司令、彭德怀副总司令、左权参谋长联名下达了战役第二阶段作战命令。这项命令提出，第二阶段作战，基本目的是扩大战果，基本方针是继续破坏日军的交通线，摧毁深入抗日根据地内的日伪军据点。作战部署和主要任务是：
第120师“以截断同蒲北段交通之目的”，主要是集结主力破击宁武至轩岗段同蒲路。
“晋察冀军区以开展边区西北方面工作之目的”，主要是集结主力破袭涞灵公路，夺取沫源、灵丘两座县城，并以有力一部在同蒲路东侧配合第120师作战。
第129师“以收复榆次辽县之目的，开展榆辽地区斗争”，以重点破击榆次、辽县（今左权）公路，并以有力一部破击白晋铁路北段。
冀中、冀南的部队，要“打击日寇修筑沧石路、石德路、邯清路”，集中力量破坏各路段及前线路基。挺进军应以有力部队在平汉路北段、平绥路以及北平城郊积极活动。
八路军总部要求，“第二阶段之作战统于本月20日开始战斗。”
根据八路军总部的部署，战役第二阶段主要进行了涞灵战役、榆辽战役、破击同蒲路作战。那一段时间，华北战场的战斗日夜不息，日本侵略军的经济网、封锁网和交通线受到全面打击，日伪军占有的煤矿、电厂、铁路、桥梁、公路、车辆和电讯都遭到破坏，许多车辆被击毁，军事设施接连发生爆炸。
涞灵战役，主要是攻打河北省的涞源与山西省的灵丘两城为主的一系列战斗。
涞源、灵丘及其附近地区，驻有日军独立混成第2旅团和日军第26师团。独立混成第2旅团司令部驻在张家口，步兵第4大队驻在浑源地区，步兵第3大队驻在蔚县、溥鹿地区，步兵第2大队驻在怀涞、延庆地区。日军第26师团是三单位制的乙种师团，师团司令部驻在大同，第2大队驻在灵丘地区，第1大队驻在涞源地区，第3大队驻在应县地区。这两部分日军共约1500人。另有伪军1000多人。
晋察冀军区根据八路军总部的命令，集中8个团、3个游击大队、2个独立营，组成左翼队、右翼队和预备队。其兵力组成和任务区分是：
右翼队由第1、第2、第3、第20、第25团，游击第1、第3支队，第1军分区特务营，军区骑兵第1团1个营等部队组成，总兵力约1.5万人，由杨成武将军指挥，重点攻击涞源县城及其附近的日伪军据点，打敌增援，同时要协助左翼队相机夺取灵丘。
左翼队由第6、第26团，察绥游击支队组成，总兵力约5000人，战役初期的主要任务是阻敌增援，尔后同右翼队配合，夺取灵丘及其附近的日伪军据点。
总预备队由一个步兵团担任。
此外，对冀晋察挺进军、第2军分区第4团、冀中军区等部队，都明确了相应的任务。
9月22日22时，两颗红色信号弹腾空而起，攻城战斗开始了。
右翼队向据守涞源城及其周围据点的日伪军发起攻击。战斗越来越激烈，天明时分，八路军已经夺占了涞源城的东关、西关和南关以及2个外围据点，日军被迫退入城内。八路军指战员原想一鼓作气攻下涞源城，再歼灭外围的日伪军据点，但是，这个目的未能如愿实现。
涞源县城面积小，方圆不到2公里，但城墙位于高坡之上，是用巨大的条石建造的，高而坚固，城关地势低洼。多年来，日伪军不断加固城墙，全城就像一座大碉堡，攻城等于是破碉堡。晋察冀军区的攻城部队虽然在兵力上占有绝对优势，但是由于部队缺乏攻城的有效器材，加之日军顽强抵抗，部队激战一昼夜，未能将城攻克。9月23日，晋察冀军区首长决定，先拔除涞源外围的日伪军据点，再攻克涞源。
第一个要拔除的外围据点是三甲村。三甲村位于涞源城东10公里，是涞源至易县公路上日军的一个重要据点。9月23日夜晚，第2团指战员在第1团1个营以及炮兵的配合下，向三甲村发起猛烈攻击，歼灭了三甲村据点的日伪军。
另一个要拔除的外围据点是东团堡。东团堡距涞源城25公里，是涞源东北日伪军的一个重要据点。东团堡筑有环形防御工事，有日军第2混成旅的1个教导队共130多人防守，这些日军全部是从各部队挑选来的士官，经过严格训练，武器精良，战斗力比较强。据点内的翻译官金井，是朝鲜人，他在我地下工作者的多次劝说下，对抗日斗争曾表示同情。晋察冀军区第3团的指战员向东团堡据点发起攻击以后，日军不仅以猛烈的火力还击，还不断施放毒剂，给攻城的八路军带来严重威胁。八路军指战员发挥勇敢战斗的精神，组织力量，加强战斗动员，连续攻击东团堡守敌。
9月24日，战斗更加激烈。傍晚，八路军攻下了东团堡周围的全部堡垒，日军被迫退到村中，凭借数间房屋继续抵抗。
9月25日，东团堡的日军自知难以固守，即把库存的武器、弹药、粮食等作战物资全部烧毁，准备突围。就在这时，八路军指战员抓住日军无心防守的心理弱点，发起猛烈攻击，将日军大部分歼灭。少数日军看到无法突围，竟然向自己点燃的熊熊烈火中奔去，以自焚结束了侵略者的一生。
东团堡歼灭战，打击了日军的锐气，振奋了八路军的雄风。
至9月26日，右翼队的其他部队相继攻克了桃花堡、吉家庄、白石口、王喜洞、张家峪等13处日伪军据点，集中力量攻克涞源的时机成熟了。
9月27日，右翼队集中兵力猛攻插箭楼。插箭楼位于涞源城南15公里处，有日军1个中队守卫。攻击发起后，八路军指战员很快摧毁了多处碉堡，击毙了大部分日伪军。右翼队拔除了涞源外围的几个重要据点，准备再攻涞源的时候，敌情发生了重大变化。
驻守涞源的日军遭到晋察冀军区的部队攻击以后，立即向驻在张家口的日军求援。9月23日，3000多日军搭乘汽车，在20辆坦克、4架飞机的掩护下，从张家口方向出发，南下增援。24日，日军独立第2混成旅团旅团长人见与一中将率领部队从蔚县出发，南下增援。由于道路被抗日军民破坏，沿途又不断遭到抗日武装的袭扰，日军行动迟缓。蔚县至涞源的80公里路程，日军车队艰难地行使了5天，平均每天只行进16公里。在战争中，人民群众一旦动员起来，日军就寸步难行，人民战争的威力是无穷的。
28日中午，3000多日军才进抵涞源县城。
右翼队根据日军兵力的这一重大变化，遂不再硬攻涞源，转移兵力、部队向灵丘、浑源方向运动，协同左翼队攻占了南坡头、抢风岭、青磁窑等日军据点。10月1日，八路军已攻克的一些据点，又被日军占领。
10月2日，军区首长命令右翼队主力在涞源以东和东南地区集结，临时休整；命令第1、第3团配合左翼队发动灵丘战役。第一、第三团灵丘籍士兵较多，配合左翼队作战更为得力。7日，左翼队向灵丘至浑源之间公路上的各个据点同时发动攻击，破坏了日伪军的军事设施和公路，歼灭守敌2个步兵大队。
10月8日，晋察冀军区第一团第一营趁南坡头据点的日军主力外出袭击八路军之际，悄悄地向南坡头发起攻击，攻克南坡头，歼灭了据点内的日伪军。
在激烈紧张的战斗中，晋察冀军区突然发现一个重要情况。9月22日，《抗敌报》第35期发表了一篇社论，无意之中泄露了百团大战第二阶段的作战企图。在敌对双方激烈的搏杀中，泄露作战企图将造成非常严重的后果。从战场态势看，日军纠集了1300多官兵，从灵丘方向和浑源、广灵方向南下，企图向抗日军民反扑。10月9日，驻大同的1000多名日军南下，增援灵丘。军区首长判断，日军可能趁八路军攻打涞源、灵丘之际，对抗日根据地进行新的“扫荡”。在这种情况下，晋察冀军区必须根据敌情的变化，调整作战部署。
10月10日，晋察冀军区决定结束涞灵战役，部队进行适当休整，做好反“扫荡”的各项准备工作。
涞灵战役，晋察冀军区的部队虽然未能收复涞源县城，却有力地打击了日军的有生力量，先后攻克日伪军据点16处，摧毁碉堡114座，歼灭日伪军1600多人。日军独立混成第二旅团步兵第4大队所属1000多人，被晋察冀军民歼灭约700人。
涞灵战役期间，冀中军区集中10个营、共约8500人的兵力，发起任河大肃战役。
晋中军区司令员吕正操将军回忆说：“在整个战役过程中，敌人曾不断对我活动于中心地区的二十三团进行合击，但我内线外线部队密切配合，使敌人顾此失彼，完全陷于被动。”在近20天的时间里，冀中军区的部队英勇作战112次，连续攻克东固贤、良村、西刘庄等29个日伪军据点，以伤亡573人的代价，歼灭日伪军1456人，其中毙伤日军805人、伪军322人，俘虏日军3人、伪军326人，缴获迫击炮1门、轻重机枪6挺，破毁铁路5公里、公路159公里。任河大肃战役，有力地钳制了日伪军的兵力，巧妙地配合了涞源地区的作战。
榆辽战役，是在山西省的榆次和辽县之间地域进行的一系列战斗。从山西阳泉南下，经过平定、和顺、辽县到达榆次的这条公路，是日军突入太行山根据地最长的一条公路，其中榆次到辽县之间地段，全长45公里，日军在沿线设置了8个据点。守卫榆辽公路的日军主要是独立团混成第4旅团第13大队，约1000多人，分驻于榆次和辽县之间公路地域。在和顺、昔阳至榆次之间的地域，驻有2个大队，这些兵力与榆辽公路的日伪军相互呼应。
八路军第129师首长根据战役意图，把参战部队组成左翼队和右翼队。左翼队由第386团和决死第1纵队各2个团组成，主要任务是攻占榆次、沿壁、王景等据点。右翼队由第358旅附第32团组成，主要任务是攻取管头、小岭底等日伪军据点，以部分兵力守卫辽县以西的狼牙山，阻击日军向西增援。此外还以新编第10旅组成平辽支队，主要任务是破袭平辽公路；以太岳军区第17、第57团组成沁北支队，主要任务是破击白晋路沁县至分水岭地段。
在变幻莫测的战争中，军事家常常采用声东击西的方法，达成战斗的突然性。八路军第129师在榆辽战役之初，为了迷惑日军，刘伯承、邓小平运筹帷幄，9月20日，即以部分兵力突然袭击长治机场，击毁日机3架，击伤日机1架，破坏了部分机场设施。正当日军把注意力放在防护长治机场上时，另一场更大规模的战斗又悄悄地开始了。这就是刘伯承、邓小平指导战争的高明之处。
9月22日，刘伯承、邓小平在宋家庄师指挥所下达了进行榆辽战役的命令，决定以突然袭击的手段摧毁榆辽公路上的日军据点，进攻辽县，相机收复辽县。这份命令特别指出：“如某些据点之敌较久顽抗时，则以各种必要手段，如强袭、坑道作业等，力求克复之。”
9月23日夜晚，榆辽公路上袭击日军各个据点的战斗一齐打响了。右翼队顺利攻占榆辽公路上的小岭底、蒲上等日军据点。左翼队一部攻克沿壁、王景等日军据点，主力向驻守榆次的400多名日军发起攻击。
9月24日，左翼队经过一夜激战，攻占了榆次城的大部分地区，残敌退向榆次中学，这是日军设在榆次的一处核心阵地。日军凭借坚固工事，依仗有飞机掩护，负隅顽抗，不时地施放毒气。八路军攻城部队连续发起3次强攻，都没有把榆次城攻破。指战员们遵照刘伯承的指示，仔细分析敌情后，决定改进方法，采用紧迫作战。这时候，部队一面继续对残敌进行攻击，一面组织人员挖坑道，并把坑道逐渐挖到日军的核心阵地。
9月25日下午4时，一段隐蔽的坑道终于挖到了日军的碉堡底下。随着一声惊天动地的爆炸声，日军主碉堡西南面的外围工事被炸毁了。早已等候在工事旁的突击队员冒着烟雾，迅速冲向日军主碉堡，一架架云梯很快架到12米高的碉堡上，手榴弹雨点般地落在碉堡里。碉堡内的日军正被巨大的爆炸声惊得失魂落魄，哪里想得到八路军的攻击来得这样突然。
经过一番艰苦的战斗，八路军攻占榆次县城，歼灭日军中队长以下400多人，缴获各种火炮12门，轻重机枪17挺，步枪200多支。
9月27日拂晓，右翼队向辽县以西的石匣发起攻击，激烈的战斗一直进行到天黑，八路军指战员占领了石匣。
9月28日，左翼队和右翼队调整部署，准备协同新编第10旅进攻辽县。这时候，驻在和顺、武乡的日军同时出动，援助辽县。由于敌情变化，八路军总部命令部队停止进攻辽县，以一部兵力牵制南下之敌，其余兵力转移，准备在红崖头、官地垴地区伏击日军。第129师根据八路军总部的命令，即组织部队转移，并于29日24时将管头的日军据点攻克。
9月30日，天气晴朗，上午9时，左翼队第386旅的部队进至红崖头以南的山地，右翼队第385旅2个团的官兵正向伏击地域开进时，从武乡出动的600多名日军意外地进入预定伏击地区，日军的先头部队正好与右翼队的官兵在途中遭遇。两军相遇勇者胜。八路军有勇敢战斗的优良作风。第385旅的指战员途中遭遇日军，很快占领有利地形，同日军激战。左翼队第386旅迅速向日军的后尾和侧翼发起攻击。
日军指挥部得知增援部队在途中遭遇八路军，陷入西面包围之中，立即调了8架飞机来掩护。被围日军看到空中转来转去的飞机，即命令部队抢占周围高地，负隅顽抗。八路军指战员向被围日军连续发起10多次攻击，激烈的战斗进行了数十小时，歼灭了数百名日军，其余日军依托已经占领的有利地形，继续顽抗。
正当两军在临时阵地上处于对峙状态时，日军的增援部队赶到了。原来，从和顺、辽县西援的500多名日军一路急行军，向狼牙山的阻击阵地发起猛烈进攻。担任阻击任务的第32团官兵利用有利地形，坚决抗击。这路日军见从正面难以突破，就以主力迂回到狼牙山主阵地的侧后，这对担任阻击的八路军构成了严重威胁。9月31日上午10时，日军突破了狼牙山的阻击阵地，向左翼队指挥所附近逼近。
八路军总部看到，辽县、武乡的日军已经会合，从阳泉南援的1000多名日军已经抵达辽县以北地区，战场情况发生重大变化，决定结束榆辽战役。部队撤出战斗后，榆次又被日军占领了。
10月5日，刘伯承通知第32团团长宗书阁、政委李震、副团长周明国到师部汇报狼牙山阻击战情况，3人心情沉重，以为肯定要受到刘伯承的批评。谁知刘伯承热情地说，请你们来，主要是总结作战经验。中午，刘伯承在饭桌上又嘱咐他们说：“你们回去告诉大家，部队打得很好，要多鼓励，不要轻易批评。干部间要讲团结，共同总结经验教训，不要互相埋怨。你们都还年轻，不要因为一仗没有打好就背包袱，来日方长，努力学习军事知识，钻研战略战术，这对团以上的指挥员来说尤为重要。”刘伯承一番话，语重心长，既是总结，又有要求，说到了3名指挥员的心坎里，是对打赢下一场战斗的深刻动员。
10月14日，日军的一支运输部队在和顺至辽县之间的公路上行进。八路军得知这一情报后，事先在弓家沟设伏。当日军的运输队经过八路军伏击区时，遭到猛烈打击，40多辆汽车被击毁。
榆辽战役，日军独立混成第4旅团遭到八路军第129师指战员的歼灭性打击，先后被歼灭近1000人，仅100多人得以幸存。榆次城内日军储备够用一年的粮袜食武器和弹药，全部被八路军缴获。
贺龙接到八路军总部的电报以后，考虑到晋西北的日军正被我军打得晕头转向，应抓住战机继续给予打击，部队行动不一定要待到9月20日。为此，贺龙向彭德怀请示，第120师可否提前于9月15日开始行动。
彭德怀看了贺龙的电报以后，表示完全同意第120师在9月15日破击忻宁段同蒲铁路的计划。此前，彭德怀给贺龙的复电中曾指出：“连日，增援正太路之敌正在该路以南与刘邓集团作战，该路以北聂集团连日收复会里村、上下村、兴道等据点，正围攻盂县中，你们乘此机会破击极好（如能提早几天更好）。”
为了配合涞灵、榆辽地区的作战，第120师首长决定，组织部队再次破袭同蒲路北段，要求第358旅破击原平至宁武地段，独一旅破击忻县至原平地段，特务团掩护后方联络。战斗中，前线各部队统由第358旅指挥。
9月14日，第358旅从娄烦以西地区出发，向马家沟集结。百团大战开始以来，同蒲铁路遭到八路军袭击后，日军已经在铁路两侧的一些重要据点集结兵力，设置多种障碍。这次破路，八路军必须先扫清前进道路上日伪军设置的障碍。
9月18日午夜，第358旅所辖第7、第8团、特务营官兵开始袭击头马营。旅首长考虑到日军可能增援，即以特务营向头马营据点发起攻击，以第7、第8团在日军可能增援的地域设伏。战斗发起后，宁化堡40多名日军果然在19日黎明时向头马营增援，行至山寨村时，被八路军第7、第8团包围，将其全部歼灭。一场战斗，战前谋划周到，胜利就来得更快。
9月16日夜晚，独立第一旅东渡汾河。18日，将刚进入上庄据点的400多名日军包围，13时发起攻击，激战至19日凌晨，旅主力撤出战斗，执行新的破袭任务。这次战斗，独一旅毙伤日军约200人，自己伤亡105人。
9月22日夜，第358旅第4团与师特务团一起，在同蒲铁路段家岭、轩岗之间进行破袭。
第2团袭击奇村日伪军据点。9月25日，第715团破坏了大牛店、轩岗之间的铁路。
第120师官兵经过连续多天的破袭战，有力地打击了日寇，同蒲铁路的交通再次中断，使日军蒙受重大损失。
1940年10月15日，日军华北方面军向日本陆军省报告战况时，不得不承认，“石太线被破坏之广泛及其规模之大，远非其他地方可比。”
华北方面军在当时的《作战记录》中记载：“盘踞华北一带的共军，根据十八集团军总司令朱德的部署，发动了所谓百团大战，于昭和15年8月20日夜同时奇袭我交通线及生产基地（主要是矿山）。尤其在山西，其势甚猛。袭击石太路及同蒲路北段警备队的同时，并炸毁和破坏铁路、桥梁及通讯设施，使井陉煤矿等的设备，遭到彻底破坏。此次袭击，完全出乎我军意料之外，损失甚大，恢复建设需要相当长的时间与大量资金。”
百团大战第二阶段，攻坚战多了，破袭战比第一阶段少了。涞灵、榆辽战役，给日军以重大打击。由于攻坚作战，参战部队的伤亡增加了。由于战争全局尚未发展到坚守重要城镇的阶段，八路军攻涞源未克，及时转移兵力进行破袭战；随着敌情变化，放弃一些已经被我攻克的日军据点，转而在运动中寻求战机，在游击中歼灭日伪军，这不仅使自己始终处于主动地位，使日军始终处于被动挨打的境地，更重要的是在抗日战争的实践中创新了战役战法，丰富了战争艺术的宝库。
1940年10月2日，彭德怀、左权、罗瑞卿、陆定一致电“各兵团并报军委总政”，肯定了战役成果。电文指出：“百团大战一二阶段取得了伟大胜利，开辟了华北大规模进攻的新记录，证明了敌人的交通线与据点不是牢不可破的，大大地削弱、沮丧与疲劳了敌人，兴奋了全国，提高了我党我军地位，打击了投降派，巩固与开拓了根据地，锻炼了党政军民，提高了部队战斗力，保证了秋收秋耕，缴获了许多军需资材，对于百团大战的胜利任何估计上的悲观失望都是极端错误的。”
电文同时提出，“目前敌寇正集中力量进攻安南、云南、重庆，这正是开展华北战局的良机。我们的任务是再接再厉，扩大胜利，只有这样才能大量吸引敌人，真正做到破坏其进攻昆明、重庆、西安的战略计划，争取时局的好转。只有这样才能真正缩小敌占区，巩固抗日根据地”。