1937年8月，中共中央派中国工农红军团长孟庆山等到冀中，在中共平汉线省委、保东特委（后改称保属省委、冀中省委）领导下，通过培训军事骨干，将当地民众自发组织的抗日武装组建成河北游击军。10月14日，国民党军第53军第388旅第691团团长吕正操（共产党员）率部南撤途中，遵照中共中央北方局关于回师北上抗日的指示，脱离国民党军，在河北省晋县小樵镇举行抗日誓师，改称人民自卫军。

上述两支部队互相配合，广泛发动群众，开展游击战争，创建了冀中抗日根据地。1938年春，冀中地区抗日 武装和晋察冀抗日义勇军第5、第8支队等部组成两个团及回民教导队，编入人民自卫军。在此期间，冀中平原军民挫败日军对冀中地区的第1次春季“扫荡”，并参加破击京汉铁路（今北京—汉口）的作战。至4月，冀中抗日根据地逐渐巩固，共建立了38个县的抗日政权和各种群众抗日救亡组织；人民自卫军发展到12个团、1个游击师、3个游击支队，河北游击军将较稳定的部队编为9个团、1个游击师、4个路。两支部队共6.6万余人。

1943年2月，第3纵队再次进行精简整编，部队编为6个主力团和11个地区队（有的仍保留团的番号）。警备旅划归八路军第129师建制，新编的6个主力团，临时分别编入晋察冀军区第1、第3、第4、第11军分区。3月，部分地区队返回冀中地区，进一步开展恢复根据地的斗争。至5月底，恢复和开辟了50多小块游击根据地，渡过了最困难的时期。6月以后，发起青纱帐战役。8～9月，为准备应付国民党顽固派发动第三次反共高潮，保卫党中央，吕正操奉命率6个团赴晋西北地区，后编入晋绥军区建制。8月24日，中共晋察冀分局与晋察冀军区根据中共中央的决定，撤销第3纵队暨冀中军区番号，其机关并入晋察冀军区机关，军分区由晋察冀军区直接指挥，继续坚持冀中平原的抗日游击战争。