1937年卢沟桥事变后，日寇在进攻华北、华中的同时，驱使蒙奸德王和李守信向内蒙古西部地区发动疯狂进攻，内蒙古成了敌人“防共灭共”的第一线地区，大青山周围地区一时成了日本帝国主义统治内蒙古的心脏地带。
内蒙古西部的大青山位于绥远境内，山势峻峭、地方广阔、土地肥沃、物产资源丰富，它是晋西北抗日根据地的外翼，陕甘宁边区的屏障，通向大西北的门户，它又紧接归绥、集宁、百灵庙、包头等重要城镇和平绥铁路（京包铁路），战略位置十分重要。
1937年8月，红军改编为八路军北上抗日。时任红二方面军第四师政委的李井泉，担任了八路军第120师第358旅副旅长，不久即改任政委，成为赫赫有名的一员虎将。
1938年5月14日，毛泽东致电120师师长贺龙、政委关向应等称：“在平绥路以北沿大青山脉建立游击根据地甚关重要，请你们迅即考虑此事。”6月11日，毛泽东又致电八路军总部强调，派往该地区的部队“须选精干者，领导人须政治军事皆能对付，且能机警耐苦，而有决心在该地创立根据地者”。
八路军总部决定，挺进大青山的部队由第120师派出，归贺、关指挥，并且根据毛泽东的有关指示，建议由李井泉率队前往。贺龙、关向应立即决定组织大青山支队，任命李井泉为支队司令员兼政委、第358旅参谋长姚喆为支队参谋长。根据贺龙、关向应的指示，李井泉率领该旅715团挺进大青山。
1938年8月，李井泉、姚喆率领以715团为主体组成的大青山支队冒着酷暑北上，支队成员包括团长王尚荣及排以上的干部140多名，绝大多数都是长征前后参加革命的老红军，有的还是1927年的老赤卫队员。他们中的绝大多数都是随贺龙、任弼时等在湘鄂川黔革命根据地进行长期斗争锻炼的老同志，是坚持和发展敌后游击战争的骨干力量。
李井泉率领715团和山西战地总动员会部分人员，由晋西北的五寨出发，冲过敌人的严密封锁线，9月初抵达大青山，与活动在当地由共产党员杨植霖、蒙古族青年高凤英等领导的蒙汉抗日游击队会师，成为大青山地区令敌人闻风丧胆的抗日武装力量。李井泉率领的大青山抗日游击支队，像一把钢刀插入敌人的心脏，严重威胁着日本侵略者和伪蒙军在内蒙的统治。
李井泉率领这支游击队在蒙汉各族人民的支持下，向敌人发动多次进攻，先后占领陶林，攻克乌兰花，袭击敌人的汽车队及三道营车站，伏击归绥、武川间的敌人。他们以大青山为依托，在绥远敌占区的城镇、农村及平绥铁路两侧不断打击敌人，粉碎了敌人的扫荡，逐渐把游击战争的范围扩大到绥西、绥中、绥南的大部分地区，使之与晋西北抗日根据地连成一片，扩展为晋绥根据地。
1938年11月，贺龙、关向应为贯彻我党关于在敌后巩固华北、发展华中的方针，决定率领120师一部分兵力东进冀中。电令李井泉指挥的大青山游击支队，抽调715团主力向平（北平）西转进，留下三分之一兵力仍在大青山地区，配合地方游击队，坚持长期游击战争。这时，留在大青山地区的八路军正规部队，虽然人数大为减少，只有一个营的兵力和晋察绥战地动委会的游击第4支队，但是李井泉把部队部署在绥西、绥中、绥南各游击区内，更加广泛深入地宣传群众、动员群众、组织群众、武装群众，发展抗日力量，取得兵员补充，积极壮大自己。在广大人民群众的热情支持下，原来只有几百人的队伍，在战斗中很快扩展到1000多人。
为了适应大青山游击战争的需要，根据地积极筹建一支骑兵部队。蒙汉各族群众踊跃献马、献鞍，一些地主、牧主也捐献了马匹和鞍具，各族农牧民青年纷纷自备马匹前来参军。1940年夏，正式建立了以蒙古族为主的抗日骑兵游击队，由高凤英任队长。他们不仅在对敌斗争中，而且在争取蒙伪军反正、动员蒙古族人民参加抗日等方面也发挥了重要作用。
1940年1月，在大青山根据地形势相对稳定后，李井泉调回晋西北工作，担任358旅兼晋西北军区第3军分区政委，李井泉调离后，其职务由姚喆接任。到1941年，大青山根据地已发展到30多个区，拥有五六十万人口，绥察支队也发展到4000多人，并在各地建立了地方游击队和武工队。大青山游击根据地的建立和发展，对于巩固陕甘宁边区和晋西北根据地以及阻止日寇西进起了重要的作用。