1939年6月，徐向前到山东任第十八集团军第一纵队司令员，统一指挥山东、苏北、淮北的八路军。徐向前在山东期间，重点致力于创建和巩固抗日根据地。他借鉴在冀南平原创建根据地的经验，强调依靠人民群众，提出在平原地区也要建立“人山”，使日军无法立足。
在实际指挥过程中，由于115师等部队直属中央军委和八路军总部，有时总部会直接下达命令给115师，绕过第一纵队指挥部。例如，徐向前曾两次给115师下达命令（如控制抱犊崮山区、抽调干部支援山东纵队），但因总部直接电报干预，命令执行受阻。
后鉴于指挥协调的复杂情况，徐向前将领导重心主要放在了山东纵队身上，通过两次整军，逐步改掉了山东纵队的游击习气，使其具备了运动战和正规战的能力。
1940年6月，徐向前奉命返回延安参加中共七大，不再返回山东。此后，山东抗日根据地的领导工作由罗荣桓等同志继续推进，最终实现了党的一元化领导，山东成为八路军最强战略区之一。