抗日战争中，大青山地区是沟通中国华北和西北的重要纽带，对敌我双方都具有极其重要的战略地位。中共中央从全国抗日战争的发展局势和战略需要出发，作出了建立大青山抗日游击根据地的战略决策。  
    1938年，中共中央指示120师调查绥远敌占区情况并组织大青山支队，准备挺进绥远。5月14日，毛泽东致电朱德、彭德怀及贺龙、关向应、肖克等：“在平绥路以北沿大青山脉建立抗日游击根据地甚关重要，请你们迅即考虑此事。”根据中共中央和毛泽东关于创建大青山抗日游击根据地的决策和具体部署，120师抽调358旅715团和师直骑兵营一个连，组成了八路军大青山支队，干部战士绝大多数参加过红军长征。与此同时，第二战区民族革命战争战地总动员委员会也在岢岚县城组建了战动总会晋察绥边区工作委员会，在共产党的领导下，太原成成中学师生组建起抗日游击第四支队，准备北上大青山抗日。1938年2月，四支队参加了八路军收复晋西北7县城的战斗。经整训，7月中旬即编为总动委会游击第四支队，军事上受大青山支队统一指挥。1938年7月底、8月初，八路军大青山支队、总动委会及第四支队约2300余人，开始了进军大青山的征途。  
  从晋西北到大青山400多公里，在日伪军骑兵和机械化交通工具的堵截围攻下，部队跋山涉水，且战且行，历时数月，经过两次北上，才进入大青山。  
    面对数十倍的日伪军，大青山支队展开了游击战争，经过一系列的战斗，逐步开辟了包括绥中、绥西、绥南三块游击区的大青山抗日游击根据地，从而大大推动了内蒙古敌后抗日游击战争的发展。 

    绥中游击区指归(绥)武(川)公路以东，平绥铁路以北，集宁至土木尔台一线以西地区。大青山支队经过以夜袭陶林县城、突袭绥中重镇乌兰花、在归武公路蜈蚣坝伏击日军车队等几次较大战斗和群众工作的开展，胜利地开辟了绥中游击区。  
    绥西即归武公路以西，包括武川、归绥西部，萨拉齐、固阳县全部。敌人获得部队西进情报后，从包头、固阳出动满载日军的汽车37辆，向大青山支队攻击，支队三战三捷后，绥西游击区局面很快打开了。  
    绥南指平绥铁路以南，以蛮汗山为中心，包括凉城、清水河、和林格尔县及归绥、托克托、丰镇县的一部分。当时蛮汗山区敌人据点不多，主要是小股匪对群众危害大。根据群众要求，部队坚决打击了蛮汗山的几股土匪，归还群众财物，解救被掠妇女，赢得了群众极大拥护。绥南部队利用缴获的百余匹战马和枪支，组织了骑兵。这是大青山支队组织骑兵的开始。  
    1938年12月，大青山抗日游击根据地初步建立。在东起灰腾梁，西到包头、固阳，南到黄河、长城，北到四子王旗的广阔地区，形成了绥中、绥西、绥南三块游击区。 
    1938年12月间，日伪军近7000人从大同、丰镇、集宁、归绥、包头一线出动，兵分三路，发动冬季大扫荡，妄图一举摧毁刚刚建立的大青山抗日游击根据地。在绥南、绥中、绥西，我军经过奔袭包头、韩沁坝、马场梁、九道拐、明安川等数次战斗，彻底粉碎了日伪军对大青山游击根据地的第一次大扫荡。  
    1939年夏，根据中共中央指示，八路军120师大青山骑兵支队正式组建。骑兵支队有1500余人，战马1471匹。李井泉任支队长，姚喆任副支队长兼参谋长，彭德大任政治部主任。1940年2月，李井泉奉调回晋西北，姚喆任支队长(后改称司令员)。1939年冬至1940年春，骑兵支队将所属部队整编为3个营。1940年5月28日，贺龙、关向应向毛泽东、朱德请示，批准将大青山骑兵支队营的建制改为团的番号。1941年12月，晋西北军政委员会电令将四支队改编为骑兵支队独立营，黄厚任营长兼政委。大青山骑兵支队战士们经受住了饥饿、寒冷、疲劳种种艰苦考验，采取机动灵活的游击战与敌人战斗。从1938年9月到1940年1月，八路军在绥远敌占区共与日伪军战斗120余次，击毙日军1000余人，伪军500余人，俘伪军500余人，缴获500余支枪和其他战利品，击毁敌汽车50余辆，并多次破坏敌电台和桥梁、铁路等设施。  
    由于日本侵略者对敌后抗日根据地进行反复残酷的大扫荡，1942年冬至1943年春，是大青山抗日游击根据地最艰难困苦的岁月，粮食十分紧缺，弹药无法补充，伤病员得不到及时医治，部队只好露宿深山，化冰雪止渴，以莜麦糊、土豆、灰菜籽充饥。经过抗日军民的艰苦奋斗，并肩浴血奋战，到1944年8月，大青山抗日游击根据地基本恢复到了1942年敌人大扫荡之前的局面。1944年大青山游击根据地总面积已为11万多平方华里，其中比较巩固的游击根据地面积为3万多平方华里。  
    为了创建和巩固大青山抗日游击根据地，许多爱国志士和人民群众献出了宝贵的生命。抗日英雄和先烈们可歌可泣荡气回肠的壮歌，永远铭刻在中国人民抗日战争的史册上。