武德三年（620年），晋阳军阀刘武周势力威逼关中，与唐对峙，刘武周麾下将领宋金刚进攻浩州（今山西汾阳）时被唐军打败，向北逃亡。李世勣在秦王李世民的带领下，追击宋金刚于雀鼠谷（今山西介休市西南），一日八战八胜，斩获数万敌军。同年，李世勣跟随李世民进逼洛阳，讨伐郑国王世充，奉命接管了郑州（今河南郑州管城区），并在之后击退了郑国太子王玄应，劝降了郑国荥州今河南省郑州市下辖县级市）刺史魏陆。武德四年（621年），李世勣暗中策应，接受郑州司兵沈悦投降，占领了虎牢关，俘获了郑国荆王王行本。窦建德应王世充请求增援郑国军，因轻敌败于虎牢关，窦建德被俘，王世充也在此后被杀。李世勣因战功被李渊封为上将（李世民为上将）。
