八十年代初全军精简整编，铁道兵机关里头渐渐传开小道消息，说铁道兵有可能撤销，整体转到铁道部。一开始多数干部只把这话当成无风而起的传闻，并不当真，觉得这支历经解放战争、抗美援朝、三线铁路建设立下大功的部队，不会轻易脱下军装。
谁也不曾料到，传言一步步变成现实。军委正式通知，铁道兵撤销兵种建制，集体转业并入铁道部。消息传来，整个铁道兵上下心情沉重。司令员陈再道得知最终决定，心中百感交集，不由得感慨：小道消息竟然成真，这太不正常了。
在此之前，陈再道还和铁道兵其他首长一道向上写信，希望能够保住铁道兵的军旗与番号，哪怕压缩员额也愿意继续以军队身份承担国家铁路建设任务。中央军委作出最终决策之后，陈再道放下个人不舍，以大局为重，全力主持铁道兵撤编移交、几十万官兵安置的各项工作，站好了铁道兵最后一班岗。1984年1月1日，铁道兵正式脱下军装，番号就此退出人民解放军序列。