杜聿明与妻子曹秀清一生相濡以沫，共育有三子三女，长女杜致礼、次女杜致义、三女杜致廉，长子杜致仁、次子杜致勇、三子杜致严。六个子女名字取自“礼、义、仁、勇、廉、严”，暗藏传统文化，足见其严谨家风。

其中大家最为熟悉的无疑是他的长女杜致礼，她温文尔雅、学识出众，后来嫁给诺贝尔物理学奖得主杨振宁，二人婚后琴瑟和鸣。