吴文卫是开国中将吴信泉的长孙，他的父亲是吴信泉早年在湖南平江老家，与原配夫人所生的长子吴庭生，生母为袁爱香。吴庭生曾担任平江县栗山公社副书记，一生扎根家乡，从未凭借父亲的功绩谋求私利。

吴信泉将军一生育有众多子女，后妻俞惠如共育有12个子女，一家人也曾被周总理戏称为“航空母舰家庭”，这一脉子女大多在部队、国家单位任职，长子吴皖湘为大校军衔，曾任军事博物馆副馆长，一生顺遂。而吴文卫属于将军老家原配一脉，和北京的家人属于同父异母的亲属关系，常年生活在平江老家，与北京的亲属生活境遇相差极大。

吴文卫少年时期，曾跟随爷爷吴信泉回到平江老家，身为将门之后，他也备受乡邻敬重。成年之后，他不甘于安稳度日，主动选择辞职下海经商，可惜经商之路并不顺利，最终彻底破产，家庭也随之破碎，妻离子散，日子一度陷入困顿。之后他接连遭遇重病缠身，先是不慎摔伤引发脑出血，接受了开颅手术，术后又突发中风，导致半身不遂、彻底瘫痪，只能长期卧床生活，完全失去自理能力。

在很长一段时间里，吴文卫全靠年迈的母亲袁爱香贴身照料，勉强维持生活，日子十分清贫。2021年3月，其生母袁爱香病逝，享年81岁，失去唯一依靠的吴文卫，无人悉心照料，最终被送入当地镇上的养老院安度余生。吴信泉将军生前一直严苛教导后辈，要坚守本心、踏实做人、对自己和社会负责，而吴文卫的人生大起大落，也全然违背了爷爷的谆谆教诲，从备受瞩目的将军长孙，落得晚年瘫痪、孤寂度日的结局，令人唏嘘。