1949年，中央军委筹建海军时，张爱萍提议让起义将领林遵当总司令，刘伯承当场摆手严肃回绝：“林遵懂军舰，但让他当一把手，那就不是人民海军了！”

1949年春天，人民海军刚刚筹建，张爱萍便遇到一个棘手问题：手里有经过战争考验的陆军干部，却缺少懂得军舰的人。恰在此时，原国民党海军将领林遵率部起义，带来了舰艇和大批专业官兵。张爱萍十分重视这批人才，甚至考虑请林遵担任海军主要领导职务。刘伯承得知后，却明确提出不同意见。在他看来，建立人民海军，既要解决技术问题，更要确立一套符合人民军队要求的领导制度。

事情还得从1949年3月26日说起。当时，张爱萍参加渡江战役有关会议，接受了筹建海军的任务。4月23日下午，华东军区海军在江苏泰州白马庙正式宣告成立，张爱萍担任司令员兼政治委员。参加最初筹建会议的只有13个人，其中包括5名干部和8名战士。谁能想到，这支后来驰骋海疆的海军力量，最初竟是从这样一个小班底起步的。

成立当天夜里，张爱萍带领筹建人员渡过长江，第二天抵达江阴，进驻原国民党江阴要塞司令部。4月28日，华东军区海军领导机关成立大会在江阴举行。此时，摆在张爱萍面前的工作十分繁重，不仅要接收舰艇、港口和有关设施，还得组建司令机关、挑选干部、建立训练制度。问题是，从陆军调来的官兵大多不熟悉海军，许多人连军舰内部是什么模样都不知道。
偏偏就在4月23日，南京附近长江水域发生了一件大事。国民党海防第二舰队司令林遵率领部分舰艇和官兵举行起义。关于起义舰艇数量，不同历史记述存在统计差别，其中较常见的记载是25艘舰艇、1200余名官兵。这支舰队拥有经过训练的水兵、轮机人员和航海军官，对于刚刚建立的人民海军来说，价值不仅在于增加了舰艇，更在于获得了一批急需的专业人才。
林遵能够得到张爱萍重视，自然有其原因。他1905年出生于福建福州，是林则徐的侄孙，早年进入烟台海军学校学习，后来又赴英国接受海军教育。抗战胜利后，他参加了中国海军赴南海接收岛屿的行动。1946年，中国海军派遣舰艇前往西沙、南沙群岛，恢复相关岛屿的管辖与驻守，林遵在其中承担重要指挥任务。长期的海军经历，使他对舰艇管理和人员训练有着较深认识。
张爱萍很快意识到，建设海军必须争取林遵这样的专业军官。他曾亲自前往南京与林遵接触，希望对方积极参加海军建设。然而，最初的交谈并不顺利。林遵认为，海军是技术要求很高的军种，舰艇操纵、航海定位、火炮使用和轮机维修，都不是短时间便能掌握的本领。让缺乏相关经验的陆军干部直接管理舰艇，他对此抱有明显顾虑。
林遵的担忧有现实背景。一艘军舰不同于普通运输船，航行时需要舰桥、轮机舱、通信岗位和武器部门密切配合。驾驶人员必须熟悉航道、水深和气象条件，轮机人员则要保证动力设备持续运转。尤其在长江下游这样的繁忙水域，稍有疏忽便可能发生事故。张爱萍理解这些技术困难，但他同样清，海军不能长期依赖少数专业军官，必须培养属于自己的航海人才。
为了进一步做通林遵的工作，张爱萍找到当时在南京工作的刘伯承。刘伯承接受请求后，由孙克骥出面联系林遵，并邀请熟悉海军事务的金声一同参加谈话。会面中，刘伯承肯定林遵率部起义的贡献，希望他发挥专长，帮助新海军培养人员。林遵仍然认为，陆军干部普遍缺少海军知识，直接承担海军领导工作存在困难。双方围绕如何建设舰队进行了认真交流。
刘伯承没有否认技术上的差距。他向林遵解释，任何知识都有一个从不会到会的过程，人民解放军官兵文化基础不足，可以通过教育和训练逐步提高。正因为缺少经验，才更加需要海军专家传授本领。这番话既说明了建设人民海军的方向，也表明了对专业技术人员的尊重。不过，经过这次谈话，林遵的思想顾虑并没有立即消除。
林遵与金声离开后，刘伯承同张爱萍谈起刚才的会面。他判断，林遵可能希望担任新海军的主要领导职务。张爱萍听后表示，如果这样能够有利于海军建设，也可以考虑让林遵担任司令。刘伯承则明确指出，那样就不是人民海军了。这段讨论反映出两人不同的考虑：张爱萍着眼于迅速解决技术困难，刘伯承则更加重视领导体系与部队性质。
张爱萍重视人才，并不意味着忽视组织建设。事实上，在筹建初期，他已经提出一项重要方针：“在共产党领导下，以人民解放军陆军为基础，团结原海军人员，共同建设人民海军。”这33个字明确了新海军的发展方向。经过长期作战锻炼的陆军干部需要学习海军技术，而熟悉舰艇的原海军人员，也需要适应新的组织制度。双方各有所长，只有相互学习，才能真正把舰队建设起来。
此后，张爱萍向上级提出任用林遵的建议。1949年9月15日，林遵正式担任华东军区海军第一副司令员。这一安排既肯定了他的专业能力，也保留了明确的领导体系。林遵得以在重要岗位上参与舰艇管理和人才培养，张爱萍则继续主持华东军区海军的全面建设。对于当时人员来源复杂、技术基础薄弱的新生部队而言，这种分工具有现实意义。