华北地区的日军遭到八路军近两个月的连续打击以后，深深感到八路军对其华北驻军的威胁。为了稳定华北的局势，维护其在华北的利益，从10月上旬开始陆续调集重兵，对华北各抗日根据地进行残酷的“扫荡”。
日军所到之处，大肆烧杀、奸淫掳掠，残暴之极。
在这种形势下，发扬连续作战的精神，坚决反“扫荡”，成为八路军的主要任务。百团大战发展到第三阶段，在作战样式上由破袭战演变为反“扫荡”。
1940年10月19日24时，朱德、彭德怀、左权联名下达了第三阶段的作战命令。命令指出：“百团大战后敌抽集兵力向我大肆‘扫荡’”，“各部应注意速做反‘扫荡’的准备”。八路军首长提出的准备工作主要有以下4项：
1.敌人对我采取空前毁灭政策；我党政军民密切配合，深入战争动员，领导空室清野。
2.军队应集结适当位置，休整准备坚决歼敌一至二路，广泛开展游击战争，打击敌人，分散部队。
3.为了保持长期不断战争，注意兵员补充。
4.各部队应有粉碎敌人扫荡而配合作战，互相策应，共收战争胜利之功。
根据八路军总部的部署，华北抗日根据地展开了一场悲壮激烈的反“扫荡”战斗。抗日军民打击日本侵略军的号角又吹响了。
太行根据地是中共中央北方局、八路军总部所在地，也是日军重点“扫荡”的一个地区。
10月6日，驻于冀西武安的800多名日伪军，开始对阳邑一带进行“扫荡”。“扫荡”是一种及其野蛮、残酷的侵略行为。日军的战斗编队中，就有烧毁各种设施的放火队；有搜索、挖掘埋藏物资的搜索队；有负责搜山、清乡，捉获群众的捕捉队。日本侵略军在大“扫荡”中，妄图以野蛮的“三光”政策摧毁抗日根据地。
10月11日，日军调集了3000多人，分两路对太行根据地的榆次、辽县、武乡、黎城之间地区进行大规模“扫荡”。其中，日军独立混成第4旅团一部兵力，从武乡出发，第36师团一部兵力，从潞城、襄垣出发，南北策应，“扫荡”抗日根据地。日本鬼子每到一地，就对根据地的兵工厂、被服厂、医院、学校、房屋、粮食、耕畜、生产工具乃至水井、水源等，全部进行彻底破坏，对于被捕的女性则强奸、轮奸，直到践踏致死；对于被捕的男性，或则充当苦役，或则全部杀死。
八路军指战员内外线配合，坚决打击日军。第129师第385、第386旅，决死第一纵队等部队在内线阻击，新编第10旅在外线作战，互相策应。10月15日上午，新编第10旅2个团抓住战机，在和辽公路弓家沟地段设伏，突然袭击日军汽车队，击毁日军汽车40多辆，歼灭押车日军400多人。日军遭到这次歼灭性打击后，半个月都不敢在和辽公路上进行运输了。
10月14日，八路军总部从王家峪村转移到砖壁村，砖壁村的地形比较隐蔽。紧张的反“扫荡”开始后，彭德怀率领八路军总部指挥机关，转驻黎城县栓马、宋家庄一带。
10月20日，日军第36师团、独立混成第4旅团近万人，分别从武安、辽县、武乡、潞城等地出发，开始更大规模的“扫荡”。这次“扫荡”，日军的意图很明显，矛头直指中共中央北方局、八路军总部机关、第129师师部、晋察冀边区党政机关所在地。这时候，根据地军民刚刚打退一次“扫荡”，没有预料到日军的第二次“扫荡”来得这么突然，兵力又这么多，主力部队还没有来得及转移到外线，一时处于被动地位。日军进入合击区的数日里，到处进行疯狂的“清剿”、烧、杀、抢，残暴至极。
“扫荡”这种残酷的暴行，在千百年的人类战争史上是罕见的。在冀晋边界，日军为了搜索抗日军民的物资，在可疑的地方掘地3尺，洗劫之后，还实行严密封锁。更为凶残的是，在北迄五台山南台脚下的石咀，经门限石、耿镇、高洪口、东峪口、柏兰至下社、上社等地，南北长50余公里，东西宽30余公里的区域，血腥制造了一个无人区，在这一区域内，村庄焚尽，水源破坏，资财掠空，树木砍光，人民群众不是被抓走，就遭到屠戮，尸骨横野，遍地殷墟。
为了摆脱被动局面，八路军总部和第129师首长决心寻求战机，坚决歼灭一路日军，震慑其余日军。抗日战争，广泛发动人民群众，大量歼灭日军有生力量，是根据地军民反“扫荡”的一项最有效的手段。第129师关家垴战斗，给“扫荡”的日军以歼灭性打击。
10月下旬，日军第36师团所属岗崎大队500多名官兵，向八路军总部附近的水腰兵工厂附近进犯。彭德怀当时正在黎城指挥部，得知这一情报后，非常恼火，命令部队密切监视这路日军的动向。水腰兵工厂位于太行山脊黎城县的黄烟洞谷中。黄烟洞四面都是险峰，只有南面有一条天然的裂缝，人们进出都要通过这条裂缝。八路军在敌后作战，武器弹药的补充十分困难。1939年，朱德、彭德怀、左权等八路军领导人亲自察看地形，决定在黄烟洞谷中建造一个兵工厂。于是，八路军指战员精心设计，把总部的军械所搬迁到黄烟洞谷中，经过艰苦创业，终于发展成为一个月产400多支步枪和大量弹药的兵工厂，用来解决八路军频繁作战的需要。现在，彭德怀得知花费许多心血建设起来的兵工厂受到日军的袭扰，怒上心头。
10月26日，岗崎大队500多名日军遭到根据地军民的袭击后，从黄烟洞向左会、刘家咀等地进犯。彭德怀命令第129师集中主力，坚决歼灭该敌。
10月29日，日军进到武乡县蟠龙镇以东的关家垴高地宿营，准备返回武乡。第129师首长抓住战机，以第385、第386旅，新编第10旅主力，决死第一纵队2个团，迅速出击。指战员们早已摩拳擦掌，听到刘伯承师长和邓小平政委的一声号令，像猛虎下山，在关家垴高地把日军包围起来。当晚，八路军总部发出命令，要求坚决歼灭该敌。八路军指战员连夜进行总攻前准备，决定于30日凌晨发起攻击。
关家垴高地三面都是断崖，通向顶部的坡路很窄，是唯一的进攻道路。坡上那个小村子里，原来住着10多户人家，日军开始“扫荡”后，这些人家早就搬走了。日军遭到八路军的围困以后，为了摆脱被歼灭的命运，半夜里突然以一个中队的兵力袭击关家垴西南面的风恼顶高地，占据风恼顶高地。关家垴和风恼顶两个制高点，互为犄角，日军占据这两个制高点后，立即构筑工事，固守顽抗。
战斗发起前，第386旅旅长兼太岳军区司令员陈赓对彭德怀说：“彭老总，现在拼了，以后怎么办？可以把岗崎放下山去，另选有利地形，打他的伏击嘛！”
彭德怀没有接受陈赓的建议。
彭德怀要求总部特务团参加攻坚战。攻击发起前数小时，左权参谋长召集八路军总部特务团的营以上干部布置作战任务，要求特务团提前发起进攻。左权布置完任务后说：“我们之所以要在凌晨3时前发起进攻，是因为日军在我们的围困下已经疲惫不堪。眼前这两股日军刚刚构筑完工事，现在是最疲劳的时候。我们作战就是要趁日军失去警惕的时候去突然偷袭。”
10月30日凌晨，第129师指战员向被围于关家垴的日军发起攻击，为了分散和孤立日军，第129师以部分兵力攻打风恼顶。日军在飞机的支援下，顽强抵抗。八路军勇猛攻击，突入敌阵，与日军展开肉搏战。
10月31日拂晓，八路军歼灭日军400多人，其余60多名日军逃到一个孤立突出的台地上。这块台地顶部开阔平坦，四边峭岩壁立。日军上台地后，挖了不少猫耳洞，死守阵地。
下午，1500多名日军在10多架飞机的支援下，从黄烟洞方向赶来增援。第129师首长看到关家垴的日军基本被歼灭，来援日军的兵力也不小，难以将其全部歼灭。为了争取主动，命令部队迅速撤出战斗。
关家垴阵地上的60多名日军在增援部队的接应下，丢弃280多具尸体，狼狈地逃跑了。
数天后，彭德怀、左权等将领来到关家垴高地，仔细察看日军的临时工事，火力配置和简易的暗堡掩体。刘伯承率领第129师部女干部来到关家垴阵地，就地总结攻坚作战的经验。刘伯承仔细察看了日军在台地四周挖的猫耳洞，认为猫耳洞是躲避枪弹、保存士兵的一种好办法。刘伯承指着一个猫耳洞，招呼大家说：“你们都仔细看看，别小看这小小的招势，凭我们现有的武器还真难对付。这个办法，我们也可以学习嘛！”
当时担任八路军总部特务团团长的欧致富在几十年后回忆这场战斗时说：“彭老总坚持要打关家垴战斗，还有一个意图：八路军是坚持敌后抗战的主力军、正规军，不但要会打游击，必要时，也得猛攻坚守，顽强拼杀，敢于啃硬骨头。”
决死第一纵队政治委员薄一波回忆说：“彭老总向我调决死队两个团参加战斗，我是很积极的，战斗中损失固然大，但这两个团也打出来了，成为决死队战斗力最强的两个主力团”。
日军遭到沉重打击以后，余部于11月14日撤退。
11月17日，日军第37师团一部兵力，第41师团一个大队，共7000多人，分别从沁县、南关镇和洪洞出发，分两路合击太岳地区沁源和郭道镇等地，进行疯狂的“扫荡”。当时，第129师所属第386旅第16、第772团，决死第一纵队所属第25团等部队，正在太行地区执行任务，因此太岳地区的力量比较弱。为了避开日军锋芒，抗击日军的“扫荡”，太岳军区首长把部队编成沁源东、沁源西两个支队，在游击队和民兵的配合下，寻机打击日军。
11月23日，两路日军进入合击地区，进行野蛮的烧、杀、抢，沁源县遭到严重摧残。全县有1/10的群众被害，被害人数达5000多人，被杀牲畜上万头，有近4万间房屋被烧毁。日军的暴行激起了抗日军民的极大愤慨。太岳军区的指战员看到日军分头“清剿”，兵力分散，千方百计抓住战机，各个歼灭日军。沁西支队第42团官兵在官滩歼灭日军100多人，第42、第59团的指战员在胡汉坪、马背一带歼灭日军160多人。至27日，抗日军民歼灭日军近300人。
12月5日，遭到不断打击的日军被迫从太岳区撤退。
北岳根据地，晋察冀军区迫退深入阜平之敌。
10月13日，1万多日伪军分成10路，对北平以西的抗日根据地进行“扫荡”。当时，北平是日军华北方面军司令部驻地，也是华北伪政权驻地，日军认为，平西根据地抗日力量的发展，威胁到华北方面军司令部驻地，也威胁到平汉、平绥交通线。因此，日军把平西根据地作为“扫荡”晋察冀抗日根据地的第一个目标。
八路军首长认为，向平西、太行根据地进攻的日伪军，很可能转而进攻北岳地区，晋察冀边区的军民应立即做好反“扫荡”准备。为此，八路军总部于10月19日发出指示，要求晋察冀军区进行深入的战斗动员，主力部队在有利位置集结，随时准备歼灭“扫荡”的1路或2路日军。为配合晋察冀军区作战，八路军总部要求，第129师应不少于3个团的兵力破击正太路，第120师应以4个团的兵力破击雁门关南北的同蒲铁路。八路军总部发出的这一预先号令，及时洞察了日军的行动企图，把握了日军的脉搏，为北岳军民赢得了20天进行反“扫荡”准备的时间。
11月9日，日军第110师团等部队与伪军共1.4万余多人，对北岳根据地进行“扫荡”。
11月10日，晋察冀军区司令员聂荣臻等人下达反“扫荡”指示，要求部队避免与日军决战，采取广泛的游击战，最大限度地消耗与疲惫日军，使“扫荡”的日军行不得其时，住不得其所，食不得其饱。主力兵团要在便于机动的地域集结，随时抓住战机，歼灭日军1路或2路，以转换战局。12日，晋察冀军区再次发出指示，要求主力部队在不妨碍机动的原则下，可以组织不超过1/3的兵力，坚决打击日军的烧、杀、抢行为。
11月13日，完县、唐县、定县、正定、行唐的日伪军2700多人，一齐出动，向晋察冀军区第3军分区所属地区进犯，“扫荡”第1军分区的日军主力也向第3军分区袭来。14日，定襄、五台的日伪军2600多人，分两路向阜平及其西南地区进犯。这次“扫荡”，日军多路分进，多点合击，一面进攻，一面修路，一面构筑据点，给根据地军民造成严重威胁。
从完县、唐县出动的数百名日伪军渡过曹河，袭击父子三村后，向西进犯，到迷城进行野蛮的烧、杀、抢、掠。
11月16日，日军袭击台峪、张家峪地区，这一地区的抗日武装与日军展开了艰苦的斗争。18日，合击台峪的日军占领了晋察冀军区领导机关所在地阜平。21日，从五台出发的一路日军也进入阜平城。
12月3日，晋察冀军区集中4个团的兵力，向占据阜平、王快的日军发动进攻，歼灭日军500多人。留驻根据地的1000多日伪军继续修公路，建据点，企图盘踞在根据地。根据地军民内线和外线配合，采用广泛的游击战，不断伏击和袭击日军后方的交通线，炸毁日军的列车和汽车，拔除一些敌占据点，使日军连续挨打，处于被动地位，不得不从阜平、东庄、王快撤退。
晋察冀军区在持续50多天的反“扫荡”中，先后毙伤日伪军2000多人。12月底，日军被迫全部撤出北岳抗日根据地。
晋西北地区，驻有日军独立步兵第36、第37、第38、第39、第40大队，炮兵1个大队，工兵、辎重兵各1个中队，共约5000多人。从10月下旬开始，日军独立混成第3、第16旅团各一部，共4000多人，对晋西北第8分区和第3分区所在地区进行“扫荡”。
10月27日，日军从驻太谷、祁县的2个步兵大队中抽调800多人，对晋西北地区的文水、交城地区进行“扫荡”；从驻太原、忻县的2个大队中抽调600多人，对第三军分区所属楼烦、米峪镇地域进行“扫荡”。由于抗日军民早已做好了反“扫荡”的准备，日军进入预定地区以后，遭到当地军民的不断打击，一无所获，旋即退回。
12月中旬，日军集中了驻晋西北的独立混成第3、第9、第16旅团和第26师团各一部，驻晋南的第37师团、驻晋东南的第41师团各一部，共约2万多人，对晋西北抗日根据地进行全面“扫荡”。12月14日，从太汾、汾离公路沿线各据点出动的5000多名日军，对第8分区和第3分区米峪镇地区进行“扫荡”；与此同时，从离石、柳林出动的4000名日军，向临县进犯。19日，从岚县和苛岚出动的6000多名日军，对兴县和保德以南地区进行“扫荡”。至23日，分头“扫荡”的各路日军一度占领了晋西北除保德、河曲以外所有的县城和大部分集镇，黄河渡口。日军所到之处，许多村庄被烧光，许多家庭被杀绝。晋西北全区，有5000多群众遭到日军惨杀。在兴县，日军把200多名男女老幼关进一间房内，将他们活活烧死，这种残暴手段极为罕见。
面对严峻的形势和日军的暴行，八路军第120师和晋西北地区的人民群众密切配合，实行空室清野，坚持“区不离区，县不离县”的游击战，同时集中一部主力，寻机歼灭小股日军。第120师不时地集中部分主力部队转移到外线作战，破袭日军的交通线，袭击日军的据点，攻击日军的修路部队和运输队，使日军整日不得安宁。从12月14日至27日，抗日军民利用各种形式连续作战100多次，迫使日军由开始时的疯狂“清剿”转为建点、修路。27日，晋西北军区命令第358旅、独立第1旅、决死第4纵队相机出击，破袭日军的交通，使日军遭到重大打击。第715团一部与临县游击队配合，袭入临县县城，打击日伪军。
在艰苦的反“扫荡”中，晋西北军民先后作战217次，歼灭日伪军2500人，破坏公路125公里，破坏桥梁23座。在八路军的连续不断打击下，日军无可奈何，被迫于1941年1月下旬全部撤出晋西北抗日根据地。