刘病已落魄的时候，唯有张贺一心一意的对待他，所以等到刘病已坐拥天下的时候，就非常照顾张家，但张安世却一直不愿意让刘病已追封张贺，由于张安世的态度非常坚决，刘病已无可奈何之下表示，我追封张贺，好像跟你扯不上关系。但最终刘病已还是认可了张安世的建议，不仅如此，因为张安世的权力非常大，因此自己的孩子张延寿职位也不低，可以说张家已经走到了登峰造极的地步，然而张安世却告诉刘病已，将自己的孩子下放到地方当官。

最开始，霍光执掌天下的时候，直接将自己的心腹和亲戚都放到了朝堂上的重要位置，所以势力也越来越庞大。霍光前脚刚被解决掉，因此，张安世也担心朝堂上的官员，会因为这个原因，就对自己动手，也能避免君王猜忌自己。实际上，张安世越是这样行事，刘病已就越不会怀疑他，甚至会越来越看重张安世。等到张安世的年龄越来越大的时候，也做出了一个更加完美的选择。

由于自己年龄的提升，根本抽不出太多精力去处理朝堂上的问题了，就请求刘病已，可以让自己告老还乡，另外让刘病已取消掉自己的爵位。正常情况下，刘病已早就掌管了所有的权力，张安世的年龄也越来越大，权力肯定是要分享出来的，而告老还乡也是理所当然的。但是，爵位就不一样了，西汉时期，想要被封侯拜相是非常不容易的，也是普通人一生中的最高追求，关键是爵位是能够继承的，最起码待遇是有了，虽然得不到权力。

但张安世，为了能够安享晚年，直接放弃了爵位。而刘病已偏偏是一个知恩图报，且重情重义的君王，因此刘病已直言不讳的表示，我是不可能放任你离开的，给出的理由也让人拒绝不了，毕竟你辅助了我这么长时间，功劳是非常大的，还比较有经验，遇到问题，我肯定会请教你。更何况，你将自己的权力都给剥夺了，岂不是让其他人认为，我是一个没有情谊的君王吗？无可奈何下，张安世还是老老实实的上班工作，但转眼间就死了。

张安世离开人世后，刘病已甚至为他风光大葬。关键是，张安世对于自己的孩子们教导也很到位，所以，张安世的子孙后代在汉朝的地位都很高，甚至他的侯爵，也被一直继承下去了，就算是王莽出现之后，张安世的子孙后代都没有丢掉过侯爵。一直持续到第八代子孙张吉的时候，因为这个孩子没有后代，所以侯爵的位置就此消失了。而且张家更是在汉朝一直延续了200多年，也是汉朝声望最高的一个家族。

实际上提到张安世，现代人大多都认为他是老油条，也可以说，通过自身的智慧，让家族生存的时间更久，明明一直身处汉朝的权力中心，但他的所作所为，却都可以让自己生活的更加滋润，历史上出现了很多功高震主，最后被君王杀掉的人，而历史上却很少有达到功高震主的地步，却让君王非常开心，甚至支持对方的人，张安世绝对属于这样的人才。