吴彦祖年轻时候长得真帅气，眼睛像爸爸，整体气质更像妈妈多一点，妈妈刘婷是上海人，出身于书香世家，但是自幼在香港长大，50年代时移民美国，她曾担任美国加州大学伯克利分校继续教育学院院长。
吴彦祖的父亲吴振也是上海人，职业是一位电气工程，和吴彦祖的妈妈刘婷是在纽约相识而结婚的，吴振早期反对儿子吴彦祖进入娱乐圈，成功后获得了吴振的认可。
吴彦祖曾公开自己是“地道的上海人”，父母在家都说的上海话，所以他将上海视为自己的根。