武德二年（619年）十一月，河北军阀窦建德攻陷黎阳，俘虏了李世勣的父亲李盖（即徐盖）、淮阳王李神通、魏徵、同安公主等，本已经撤离的李世勣为救人质，只好返回黎阳向窦建德投降。此后，窦建德以李盖为质，令李世勣镇守黎阳。李世勣帮助窦建德击败王世充部后，取得了窦建德的信任。李世勣遂建议窦建德亲征河南，想要借机将其杀死。 武德三年（620年），李世勣与魏郡李文相（号商胡）结拜，在入拜李文相之母霍氏时，听闻霍氏哭诉窦建德无道，其妻弟曹旦侵扰河南时，宽慰她说一个月后必将杀掉窦建德和曹旦，然后带霍氏等归顺唐朝。由于被妻子产子所误，窦建德迟迟没有启程前往河南，李世勣图杀他的计划也无法实施。霍氏本善骑射，又恐事久生变，便令儿子李文相在宴饮时设伏兵杀掉曹旦的偏裨二十三人，然后举兵起事。而李世勣因计划泄露，又无力对抗曹旦，与旧部郭孝恪带领几十名骑兵归降唐朝。
