《新唐书·李元吉传》记载，齐王李元吉出生后，因为样貌问题被太穆皇后嫌弃，侍女陈善意暗中抚育才长大；因李元吉喜好军事，常常让府中下人互相打架，造成死伤，陈善意制止这种行为，却被李元吉杀害。其余还有“夜潜出淫民家，府门不闭”，“纵猎，蹂民田，纵左右攘夺，畜产为尽。每射於道，观人避矢以为乐”等记载。《旧唐书》也有“元吉凶狂，有覆巢之迹”的记载，认为“建成、元吉，实为二凶。中外交构，人神不容。” 北宋政治家司马光在《考异》中认为，“建成、元吉虽为顽愚，既为太宗所诛，史臣不无抑扬诬讳之辞。”史载太宗李世民有修改史书的记录，对政治斗争中失败的齐王李元吉便多有贬语。《旧唐书》中高祖李渊在太原起兵前，派人前往河东召集李建成与李元吉，并对年仅15岁的李元吉委以镇守太原的重任；如果太子李建成真的“喜酒色游畋”、齐王李元吉经常有过失导致李渊不喜爱他，高祖李渊特别中意李世民，不必刚称帝便匆忙将李建成立为太子，仍将镇守太原的重任交给李元吉。
