彭老总从庐山下来之后，他就搬去了吴家花园居住，这一年（1959年），他也被免去了职务。在吴家花园住的这五年多的时间，也是他难得的清闲的一段时光。 吴家花园，相传是当年吴三桂给陈圆圆特意修建的宅子，但是，据我所查的话，这种说法其实不太准确。 比较准确的一种说法是，这吴家花园在之前是叫自得园，是清朝雍正年间修建的一处皇家宅子。 这园子修建起来以后，雍正就把他赏赐给了允礼。这允礼是雍正皇帝的第17个弟弟，也就是甄嬛传里面的果郡王。清朝灭亡以后，到了民国年间，在吴家花园里面住的都是有社会地位的人，比如袁克定，冰心等等。 彭老总是1959年住进吴家花园的，他是1965年离开吴家花园的。 在吴家花园居住的这段时间里面，他的警卫景希珍一直陪伴在身边。景希珍晚年的时候也写了两本回忆录，里面有一些内容就记载了，他在吴家花园陪伴彭老总的日子。 老总在宅子里开垦出了一小片土地，在里面种了些花花草草，还有一些花果蔬菜，每天他都会扛着自己的锄头去劳作。 在吴家花园待了第二个年头，彭老总的侄女彭钢也住了进来。 这个侄女12岁的时候来到北京，就一直生活在伯父的身边，两人的感情很好，虽然不是亲生父女，但是感情胜似亲生父女。当时的彭钢只是一个24岁的女孩子，有很多事情她也不了解，她只知道自己陪在伯父的身边，能让伯父的心里得到些许的宽慰。 有了侄女的陪伴，彭老总在吴家花园的日子也没有那么的枯燥了，这里面的气氛也变得多了一些年轻人的生气。 1962年，是彭钢来到吴家花园的一年。这一年，彭老总64岁，彭钢24岁。 时间很快来到1965年，67岁的彭老总离开了吴家花园，去到了成都，开始了自己的新工作。 彭钢万万没想到，两人的这一次分别，再次见面的时候，伯父已经躺在病床之上，处于弥留之际，而那却是八年以后了。 1978年12月24号，老总的追悼会在北京召开。 1999年，彭老总的骨灰在后辈们的一路护送之下，回到了老家，安葬在了彭家围子。
