2000年，开国中将郑维山病重，病情急剧恶化，张万年了解情况后，专门让秘书去把郑维山的长子郑勤从山西部队召回来，按照中国习俗，这个时候，长子是必须守在身边的，郑勤赶回来后，郑维山口述遗嘱，让他交给军委。
 
遗嘱里第一条说的就是治疗的事，郑维山说人总是要死的，这是自然规律，郑重请求在自己不行的时候，适时停止治疗，多节约些医疗经费，这也算他最后一次为党做贡献。
 
身后事他也安排得很细，去世后不搞遗体告别，不开追悼会，不进八宝山，也不搞任何形式的送别仪式，遗体先交给医院解剖，用于医学研究，之后再火化。
 
他还提了藏书的事，说自己平时攒下来的书，等后事办完，都送到大别山山区的学校，给孩子们用，另外专门跟子女交代，回老家处理骨灰的时候，自己买火车票，别惊动地方政府。
 
这封信送到军委后，张万年看了很受触动，当场做了批示，说内容非常感人，确实感人，这封信要保存好，以后开展人生观教育的时候，可以拿出来讲一讲。
 
2000年5月9日，郑维山在北京逝世，终年85岁，家属和工作人员按照他生前的遗愿处理了后事，全程从简，没有办大型仪式，骨灰最终撒在了他战斗过的地方。
 
这件事现在回头看，最打动人的地方就是，一位打了一辈子仗、身居高位的老将军，到最后想的全是不给组织添麻烦，还想着把自己最后一点价值都贡献出去，没有半句提个人待遇，也没有给家人谋任何特殊照顾。