八路军山东纵队是中国共产党领导山东人民武装反抗日本帝国主义侵略斗争的产物，是以共产党员为骨干、以山东各地人民抗日起义武装为基础组建而成的。她从诞生之日起就与日本侵略者展开了英勇斗争，在山东省开辟了敌后抗日根据地和广大抗日游击区，并在战斗中不断成长壮大，成为驰骋山东抗日战场的一支主力军。八路军第115师入鲁后，山东纵队与之并肩作战、协同配合，继承发扬老红军的革命传统，经过5次整军，逐步发展壮大，成为坚持敌后抗战的一支英勇顽强的武装力量，为山东乃至全国抗日战争的胜利立下了不朽的功勋。

1938年10月，抗日战争进入相持阶段后，日军暂时放松了对正面战场的进攻，将主要兵力对付共产党领导的敌后抗日武装力量。

这时期，中共山东地方组织及其领导的山东八路军，相对来说还比较弱小，总兵力不足6万人。到1938年底，中共苏鲁豫皖边区省委领导的八路军抗日游击武装，在全省各地建立起若干块抗日根据地及广大的游击区。但是，分散于各地的游击队尚处在各自为战的状态，在战略上还未形成统一的领导和指挥，在部队编制上亦不尽相同，且缺乏骨干力量，远远不能适应抗战形势发展的需要。因此，对这些分散的游击队统一编制、统一指挥已是势在必行，刻不容缓。

1938年8月，党中央陆续抽调张经武、江华、吴克华、胡奇才、徐斌洲、吴仲廉（女）等中国工农红军干部和长期在白区工作过的党员干部，以及中国人民抗日军事政治大学、陕北公学毕业的学员共160余人，临时命名为八路军鲁东游击纵队指挥部，张经武、黎玉分别任指挥和政委。张经武、黎玉率领这支干部大队从延安市出发，经西安市、冀南、鲁西北，于11月底到达苏鲁豫皖边区省委驻地沂水县岸堤镇（今属沂南县）。

在岸堤，张经武、黎玉向边区省委传达了中共中央关于进一步发展山东抗日游击战争，建立抗日根据地的指示。不久，边区省委北移至沂水县王庄。12月上旬，中共中央指示苏鲁豫皖边区省委改为中共中央山东分局。根据中共中央决定，12月27日，八路军山东纵队在沂水县王庄正式宣告成立，张经武任指挥，黎玉任政委，王彬任参谋长，江华任政治部主任。

山东纵队的成立，使分散各地的游击队成为在战略上统一指挥的游击兵团，标志着共产党领导的山东武装力量建设进入了一个新阶段，对山东抗日根据地的巩固和发展具有重要意义。

纵队成立后一方面指挥各部队配合地方党政机关动员组织群众，发展地方武装，建立抗日民主政权；一方面广泛开展游击战争打击日伪军。至1939年春，山东纵队初步创建了泰山、沂蒙、清河、胶东半岛、泰西等游击根据地，并开展了鲁南及滨海地区的抗日工作。

山东省各地的抗日武装起义主要有冀鲁边抗日武装起义、鲁西北抗日武装起义、胶东天福山蓬莱等县的抗日武装起义、黑铁山起义、徕山起义、鲁东南莒县沂水抗日武装起义、泰西抗日武装起义、鲁南抗日武装起义、湖西抗日武装起义等。纵观这些抗日战争初期的抗日武装起义，可以看到，在短短半年多的时间里，从胶东半岛到鲁西平原、从冀鲁边区到苏鲁豫皖边区，大大小小数十起，遍及全省。这些由中国共产党领导的山东人民抗日武装，土生土长，由小到大，由弱变强，到1938年已发展到数万之众，为八路军山东纵队的创建准备了必要的武装力量。

1938年5月，日本占领津浦、胶济铁路沿线后，开始对其占领区进行“鲸吞式”、“洗劫式”经济掠夺，竭力培植汉奸。同时，中国国民党也在山东省扩充武装，力图恢复其统治，不断制造反共摩擦事件。共产党方面，中共中央非常重视山东的战略地位，十分关注山东的抗日斗争和根据地的创建工作。1938年4月，毛泽东、刘少奇、张闻天联名向八路军发出关于开展抗日游击战的指示，要求“党与八路军部队在河北、山东平原应坚决采取尽量广泛发展游击战争的方针，尽量发动最广大的群众走上公开的武装斗争”。同年春，党中央派中共陕甘宁边区党委书记郭洪涛率50名干部到山东工作。行前，毛泽东、刘少奇都作出重要指示，强调要坚持党在统一战线中的领导权和独立自主原则，放手发动群众，开展敌后游击战争，建立发展民兵基干武装和主力部队，建立抗日民主政权，创建抗日根据地。郭洪涛一行到达山东省后，重组中国共产党山东省委员会，根据中共中央决定，扩大为苏鲁豫皖边区省委。新省委结合山东实际情况制定了发展山东游击战争，在全省范围内建立抗日根据地的计划。6月，开始对山东各地人民抗日起义武装进行整编。

首先统一了部队的番号。1938年6月中旬以前，山东各地人民抗日武装起义部队的称谓极不统一，有的使用八路军的番号，有的则称“山东人民抗日救国军”、“抗日义勇队”、“抗日自卫团”、“山东人民抗日联军独立师”等，还有的使用抗日战争第五战区的番号，或隶属于国民党地方实力派。因番号不同，其建制的大小、人数的多少及领导人的称谓也不一样。这些都不利于部队的统一指挥、协同作战以及与友军的友好相处。郭洪涛就这一问题报告党中央后，毛泽东、刘少奇于1938年6月6日电示郭洪涛，山东的基干武装应组成支队并恢复使用八路军游击支队的番号。6月8日，毛泽东又致电周恩来，指示山东省各地游击队使用八路军名义。据此，苏鲁豫皖边区省委撤销了山东人民抗日联军独立第一师的番号，恢复原八路军山东人民抗日游击队第四支队的番号，山东人民抗日救国军第五军、第三军先后改称八路军山东人民抗日游击队第三、第五支队，使起义武装的称谓旗帜鲜明，从而解决了由于起义部队称谓不统一而出现的一些问题。

对抗日起义部队统一番号后，省委还对各武装部队进行了整编和组织整顿。除冀鲁边和鲁西北两个地区的部队以外，先后整编为5个支队、2个义勇总队和1个自卫团，共3万余人。为加强党对军队的绝对领导，苏鲁豫皖边区省委及其特委都充实健全了军事部，并将党中央分配来的一批有作战和建军经验的红军干部分配到各支队担任领导工作，对部队进行了初步整顿，调整和配备了各级领导骨干，加强了党对部队的绝对领导，加速了山东人民抗日武装的正规化建设。

同时，为了培养党政军民干部，省委于1938年7月创办了山东抗日军政干部学校。干校以中国人民抗日军事政治大学为榜样，密切联系实际，坚决地贯彻执行毛泽东为抗大制定的“坚定正确的政治方向，艰苦朴素的工作作风，灵活机动的战略战术”的教育方针，成为一支宣传队、工作队和战斗队，为部队培养了大批军政干部。

在做了组织上和思想上的准备之后，苏鲁豫皖边区省委开始有计划地创建山东省各地抗日根据地，取得了显著成绩，也为八路军山东纵队的创建打下了必要的基础。

1938年10月后，中国的抗日战争由战略防御阶段转向了战略相持阶段。日本侵略者转变策略，开始对国民党政府实行“以政治诱降为主、以军事打击为辅”的政策，将其主要兵力转向敌后战场，并将重点置于华北地区。从1938年底至1939年5月，日军先后增派7个师团，新编5个独立混成旅团，使其在华北的兵力达到15个师团、9个独立混成旅团和1个骑兵集团，占其侵华总兵力的半数以上。中国国民党政府也随之转为消极抗日，积极反共。抗战形势发生了重大变化。

至1938年底，中共苏鲁豫皖边区省委领导的八路军抗日游击武装，在山东各地建立起若干块抗日根据地及广大游击区。但是分散于各地的游击队尚处在各自为战的状态，在战略上还未形成统一的领导和指挥，在部队编制上也不尽相同，而且缺乏骨干力量，远远不能适应抗战形势发展的需要。因此，在山东组建一支统一编制、统一指挥的游击兵团的任务已势在必行。

1938年8月，党中央陆续抽调张经武、江华、吴克华等中国工农红军干部和长期在白区工作过的党员干部，以及毕业于中国人民抗日军事政治大学、陕北公学的160余名党员干部到山东工作，并临时命名为八路军鲁东游击纵队指挥部，张经武、黎玉分别任指挥和政委，江华任政治处主任。另外，在指挥部下编一干部大队，胡奇才任大队长。8月21日，张经武、黎玉率领这支干部大队从延安市出发于11月底到达苏鲁豫皖边区驻地——沂水县岸堤镇。不久，边区省委移至沂水县王庄。根据中共中央的决定，12月边区省委改为中共中央山东分局。27日，山东分局正式公布成立八路军山东纵队，以统一指挥山东各地（不含冀鲁边与鲁西北地区）共产党领导的抗日武装，张经武任指挥，黎玉任政治委员，江华任政治部主任，王彬任参谋长，并建立了司政供卫领导机关和各种工作制度。同时将所属部队整编为10个支队又3个团，所属部队共25个团，2.45万人，所属地方武装1万余人。

活动于鲁东南地区的八路军山东人民抗日游击队第二支队编为八路军山东纵队第二支队，刘涌任队长。活动于清河区的八路军山东人民抗日游击队第三支队编为八路军山东纵队第三支队，马耀南任支队长。活动于泰山区的八路军山东人民抗日游击队第四支队编为八路军山东纵队第四支队，廖容标任支队长。活动于胶东区的八路军山东抗日游击队第五支队编为八路军山东纵队第五支队，高锦纯任支队长。活动于泰西地区的山东西区人民抗敌自卫团也编为八路军山东纵队第六支队。活动于沂鲁山区的八路军鲁东游击队第八支队编为八路军山东纵队第八支队，马保三任支队长。活动于安丘莒县边区的八路军山东人民抗日游击队第九支队编为八路军山东纵队第九支队，王林肯任支队长。活动于临费边区的八路军山东人民抗日游击队第十二支队编为八路军山东纵队第十二支队，董慕仲任支队长。活动于湖西地区的苏鲁人民抗日义勇队第二总队编为八路军山东纵队第十三支队，翌年改为八路军山东纵队挺进支队，李贞乾任支队长。活动于苏皖地区的青年抗日救国义勇队组建为八路军山东纵队陇海游击支队。活动于鲁南抱犊崮山区的山东省第三区保安司令部直辖第四团隶属于八路军山东纵队，仍沿用直辖第四团番号，张光中任团长。随张经武、黎玉到达鲁中山区的八路军东进抗日挺进队第四支队一营与山东纵队第八支队特务大队组建成山东纵队特务团，陆升勋为团长。活动于临沂郯城边区的八路军临郯独立团改编为八路军山东纵队临郯独立团，薛浩任团长。

山东纵队的成立，使分散于各地的游击队成为战略上统一指挥的游击兵团，标志着共产党领导的山东武装力量建设进入了一个新阶段。

八路军山东纵队成立后，将山东党组织领导的各抗日起义武装基干部队统编为10个支队又3个团，共2.45万人，另有地方武装1万余人。八路军山东人民抗日游击队第1支队、第3支队、第4支队、第5支队、第9支队、第12支队分别改称为山东纵队第2支队、第3支队、第4支队、第5支队、第9支队、第12支队；山东西区人民抗敌自卫团改称山东纵队第6支队；八路军鲁东游击第8支队改称山东纵队第8支队；鲁南人民抗日义勇队第2总队改称山东纵队挺进支队；陇海支队番号不变。八路军津浦支队第1营、第8支队特务大队、沂蒙独立团合编为山东纵队特务团；八路军临郯独立团改称山东纵队独立团；鲁南人民抗日义勇队第1总队仍用国民党山东省第3区保安司令部直辖第4团番号。山东纵队所属基干部队活动在沂蒙山区的有第2支队、第4支队、第8支队、第9支队、第12支队、挺进支队等6个支队及特务团、独立团、直辖第4团。

1939年春，山东纵队进行第1次整训与整军，整编后辖8个支队。第1支队，马保三任支队长，周赤平任政委；第2支队，孙继先任支队长，潘寿才任政委；第3支队，马耀南(1939年7月离职)、杨国夫先后任支队长，霍士廉任政委；第4支队，廖容标任支队长，胡奇才任政委；第5支队，高锦纯任支队长，宋澄任政委；第6支队，刘海涛任支队长，张北华任政委；陇海铁路南进支队，钟辉任支队长，梁海波任政委；苏鲁人民抗日义勇队第1总队，张光中任总队长，李乐平(1940年1月离职)、彭嘉庆先后任政委。

1940年9月，山东纵队进行第四次整训与整军，整编后辖5个旅和4个支队，计5.4万人。第1旅由王建安任旅长，周赤萍任政委；第2旅由孙继先任旅长，江华任政委；第3旅由许世友任旅长，刘其人任政委；第4旅由廖容标任旅长，汪洋任政委；第5旅由吴克华任旅长，高锦纯任政委；第1支队由胡奇才任司令员，王子文任政委；第4支队由赵杰任司令员，王一平任政委；第5支队由王彬任司令员，王文任政委；蒙山独立支队由邵子厚任支队长，朱则民任政委。

八路军山东纵队的成立，标志着山东人民抗日起义武装已由若干分散的游击队成为在战略上统一指挥的游击兵团。从此，山东人民抗日武装成为一支有统一领导、统一指挥、统一编制的部队。八路军山东纵队成立后，一方面指挥各部队配合地方党政机关发动组织群众，发展地方武装，建立抗日民主政权；一方面广泛开展游击战争，打击日、伪军。此后，山东纵队与相继入鲁的八路军115师主力一起，肩负起开辟山东抗日根据地的重任，对山东抗日根据地的发展和巩固发挥了重要作用。