《三国志》作者陈寿在《魏书》中，将曹操麾下的5员大将张辽、乐进、于禁、张郃、徐晃合为一传，即《张乐于张徐传》。在叙述完5人生平后，给予高度评价：“太祖建兹武功，而时之良将，五子为先。”后人取“良将”“五子”，赞其为五子良将。其中，张辽在曹营的资历不如乐进和于禁，甚至比不上徐晃，却凭后期立下的赫赫战功，列于传首，俨然五子良将之首。
但张辽最初的选择却并不明智，他不仅追随背信弑主的“三姓家奴”吕布，还曾是祸国权臣董卓的部下。那么以张辽在曹操身边表现出的忠勇，他怎么会看上吕布、董卓之流，并在他们麾下效力呢？
最初投靠家乡长官
张辽作为并州雁门郡马邑人，年轻时最早跟随的人，自然是并州刺史丁原。公元189年，汉灵帝驾崩后，大将军何进与宦官集团矛盾加剧，就召丁原等人进京诛杀宦官。此时，张辽凭借过人武力已被选为从事，有机会到京师洛阳，并结识了大将军何进。何进对张辽也颇为欣赏，派他去河北招募兵马。
吕布弑主时正在河北募兵
但张辽外出刚完成募兵任务，洛阳城内风云突变，先是宦官们在皇宫内设伏将何进杀死，然后是何进部下闯入皇宫大杀四方。一直在窥探时机的西凉军阀董卓趁乱进京，控制了朝局。在董卓的拉拢下，身为刺史府主簿的吕布杀死丁原，并率丁原部属投靠了董卓，张辽就这样稀里糊涂的成了董卓部属，但实际上还是由吕布指挥。
先后效力4位主公
初平三年(公元192年)，凉州军团和并州军团之间的矛盾激化，吕布在王允等朝臣拉拢下，最终出手杀死了董卓。短短三年间，张辽就先后为丁原、何进、董卓、吕布四人效力过，但选择丁原是他受到地域因素限制，这也是当时大多数将领的选择；受何进安排募兵，则是因为何进身为大将军，掌控天下军权，连丁原都得俯首听命，张辽自然不能例外。
至于最后落入吕布、董卓的泥潭，也纯属无奈之举，吕布弑主时，他压根不在军中，待返回时，并州军已整体投入董卓麾下。他麾下仅千余新兵，根本无法左右局面，更何况当时关东诸侯也是各怀鬼胎，很快就陷入彼此征伐的乱局，在曹操“挟天子以令诸侯”而脱颖而出之前，也看不出哪个是“明主”，张辽也只能暂时委身吕布麾下。
