1978年，相比不少同资历老将来说，陈士榘离开军委顾问的位置上，成为一位无官无职的老兵。

他曾担任工程兵司令长达二十多年，后改为军委顾问，按照他的身体条件，以及当时的政策来说，不应该早早就退下来，尽管年纪快70岁了。可领导干部终身制没有打破，又处在历史转折时期，需要老干部作为舵手跟着改革开放潮流而动。

从他儿子的回忆录中，不难看出因为在特殊时期执行一些路线，因此早早离开位置上。

不过，到八十年代明确他是大军区正职待遇，生活方面平平淡淡。晚年的他有些寂落，因为与妻子因感情不合而分开，子女们也不在身边，经常看电视到深夜，直到电视没有任何节目。

晚年给他最大慰藉的是老战友，有说不完的话，叙不完的旧。像杨得志、杨成武、伍修权一起看望他。他们在退下来之前的职务都不低，杨得志担任过军委副秘书长兼总长，杨成武担任过代总长，退居二线后担任政协副主席，伍修权当过副总长等职。

从职务来说，他们的职务都高于陈士榘。

当杨得志见到陈士榘后，开玩笑说：陈士榘万岁！对方听了，赶紧制止：可不能瞎喊！杨成武说，现在谁都可以万岁。

说起陈士榘与杨得志、杨成武，是战友，又曾经是上下级。

他们都来自红1军团，从资历来说，陈士榘在1927年入党，参加秋收起义，上井冈山的。杨得志是湘南起义后上井冈山的，只有杨成武是在部队离开井冈山，到闽赣发展时加入红军。

陈士榘与杨得志、杨成武虽然都在1军团，但没有共事。抗战爆发后，陈士榘从教导大队大队长改为343旅参谋长，杨得志、杨成武都还是团长。此时，杨成武已经调去跟聂老总去开辟晋察冀敌后根据地，杨得志在685团，从隶属关系上是上下级。

后来，陈士榘担任晋西支队司令员，杨得志调任344旅任职。解放战争时期，陈士榘在华东打仗，而杨得志、杨成武在晋察冀挑大梁。

新中国成立后，他们三位都被评为正兵团级，授予上将。并且都早早担任大军区级正职，陈士榘担任工程兵司令，杨得志担任济南军区司令，杨成武担任副总长兼北京军区司令、防空军司令。杨成武是上将中最早被提拔重用的，1965年担任代总参谋长，后担任军委办事组组长主持日常工作。到1980年，杨得志担任总参谋长。

陈士榘在1975年离开一线，到二线工作，后离休。

此后，陈士榘因为待遇问题，还曾经发火，找杨得志反映过问题，最终得到解决。

晚年的他早早离休，属于无官无职，杨得志在1987年退下来，杨成武在1985年退下来，伍修权1980年离开总参，担任中顾委委员、常委等，到九十年初离休。