1939年夏天，正在冀南平原指挥敌后游击战、践行“人山”作战思想的徐向前，接到八路军总部调令，内心颇感意外。此前朱德、彭德怀已向中央提议调徐向前、朱瑞前往山东统一指挥武装力量，1939年5月中央批准，6月初命令送达冀南。彼时山东抗日武装多头领导，山东纵队、115师等部队缺乏统一指挥，日军频繁扫荡，国民党顽固派不断制造摩擦，急需有平原根据地经验的指挥员统筹全局。
6月7日，徐向前告别冀南，在馆陶与朱瑞会合后东进山东。1939年8月1日，八路军第一纵队正式宣告成立，徐向前任司令员，朱瑞任政治委员，统一指挥山东、苏北全部八路军部队，并在《大众日报》刊登就职通电。
徐向前在山东奋战一年，领导军民粉碎多次日军大“扫荡”，巩固沂蒙抗日根据地。1940年6月，他奉命返回延安筹备党的七大，1941年1月，八路军第一纵队番号撤销。
