晋绥边区行政公署成立于兴县蔡家崖，续范亭担任首任行署主任。该机构是为了加强边区武装建设及对抗日军阀而设立。

1938年8月，晋绥边区正式形成。同年9月，贺龙、关向应带领八路军第一二〇师进入晋西北地区建立抗日根据地，并派遣大量干部协助山西省牺盟会在敌占区开展抗日活动。至年底，他们成功建立了以管涔山为中心，覆盖十多个县的晋西北抗日根据地。1940年1月5日，晋绥边区抗日民主政权——晋西北行政公署（后更名为晋绥边区行政公署）在兴县蔡家崖成立，续范亭被任命为首任行署主任。同年8月，大青山地区的抗日政权——晋绥边区行政公署驻绥远办事处（后更名为绥察行政公署）也宣告成立，管辖随喜、绥南、绥中县三个专员公署以及绥东游击区。为了强化边区的武装力量和抗争能力，1940年10月6日，晋西北军区司令部（后更名为晋绥军区司令部）成立，贺龙担任司令员，续范亭出任副司令员，关向应担任政委。周士第负责参谋工作，甘泗淇则担任政治部主任。军区下辖第二、第三、第四、第八共四个军分区，其军事区域划分与行政区划保持一致。晋绥抗日民主政权和军区的成立标志着晋绥抗日根据地的实力不断增强，成为陕甘宁边区的重要屏障。然而，日军并不甘心失败，1940年发起了三次大规模扫荡行动。当年12月，日军集结两万余人，分十八路对晋绥根据地进行了残酷的冬季大扫荡。面对敌人的疯狂攻势，贺龙领导全区军民进行了长达35天的反扫荡战斗，共计作战200余次，最终成功击退了日军的冬季扫荡。