1938年12月，中共中央山东分局在沂水县王庄成立。为更好地统一作战，12月27日，八路军山东纵队成立。从1939年2月起，山东纵队先后进行了5期整军，战斗力大大提高，在山东境内多次粉碎日伪军“扫荡”，开辟新的抗日根据地。1939年8月，八路军第一纵队成立，统一指挥山东和苏北境内的八路军各部队，1939年10月13日，八路军第一纵队与八路军山东纵队正式合并。

山东纵队在对敌作战中不断发展壮大，到1940年底，发展到5.1万人。

抗日战争时期，山东纵队与入鲁的八路军主力部队并肩御敌，逐步巩固和扩大了山东抗日根据地，使山东抗日根据地成为全国抗战的重要战略基地。