1937年“八·一三淞沪抗战”期间，蒋介石下令驻汉中第51师王耀武部开赴上海，与俞济时第58师和独立34旅合并，组建第74军。解放战争期间，该军改编整编74师后担任师长的张灵甫，此时还是第51师第153旅第305团上校团长；4年前，他就已经在号称“天下第一师”的第1军第1师担任主力团长，却在回家休假期间，枪杀自己的妻子而锒铛入狱。
淞沪会战前刚当上团长
年初，张灵甫刚刚获释出狱，遂投奔王耀武的51师，恰巧赶上该师由三团制丙种师改四团制甲种师，就担当了这个新编团的团长。不过，当张灵甫率部赶到淞沪战场时，日寇主力已在金山卫登陆，上海守军已接到大撤退命令，因此张仅在苏州、无锡交界的望亭镇与日寇第9师团一部打了一仗，最后炸毁铁桥，起到了“迟滞敌人前进”的目的。
淞沪会战结束后，第74军又赶赴南京参加首都保卫战，张灵甫所部先与日寇激战于河定桥一带，又在南京城华严寺一带对战，直到12月11日，几乎伤亡殆尽的305团才奉王耀武的命令收缩到赛虹桥。此时张灵甫因手臂受伤未及时就医而恶化，不得不离队到后方治疗。
武汉会战再立功勋
1938年春季，归队后的张灵甫被王耀武提升为第151旅副旅长，仍兼第305团团长，随即率部赴豫东参战，三义岩攻坚战中，第51师302团团长纪鸿儒壮烈殉国，张灵甫亲自带队夺回纪团长遗体，“亲抚战友，号啕大哭”。4月，51师在黄陂接受军委会校阅，获得军委会校阅官的优良考评，张灵甫305团的成绩在阅后评定中，名列全师第一，张因此擢升为51师153旅少将旅长。
9月下旬，为打破武汉会战的僵持局面，日寇第11军司令官冈村宁次下令第106师团从瑞昌与南浔间进击穿插，企图打出一个突破口；国民党军第1兵团司令薛岳闻讯后，当机立断，准备诱敌深入后调重兵围剿该师团。张灵甫也因此迎来自己的成命之战，在最关键时刻亲率敢死队，连夜攀登悬崖出现在第106师团背后，袭占制高点张古山，全歼守敌147联队，为最后几乎全歼日寇整个师团立下汗马功劳。
连番血战后终于登顶军长宝座
万家岭战役后，张灵甫又率部参加南昌会战，在进攻高安县城的战斗中不幸右膝盖中弹负伤，辗转到桂林、香港医治，归队后晋升第58师副师长。1941年9月的第二次长沙会战中，第58师因师长廖龄奇指挥失误损失惨重。战后，廖龄奇被蒋介石下令枪决，张灵甫再度因表现英勇而晋升师长，军衔仍是少将。
1942年6月浙赣会战中，张灵甫58师主力收复重镇瓮安。11月常德会战，又收复黄石、九溪等地，最后因功晋升74军副军长，仍兼58师师长。1945年2月，张灵甫经第74军第一、二任军长，已升任蒋介石侍从室主任的俞济时和第24集团军总司令王耀武保荐下，进入重庆陆军大学甲级将官班第二期学习。
1945年8月日寇投降后，74军空运南京受降，并担任首都警备任务，张灵甫升任74军中将军长兼南京卫戍司令。
