参与训练 GPT 和 Claude 的人辞职:这两家在拿我们的命赌

9月9日，过去三年曾在 OpenAI 和 Anthropic 从事预训练研究的 Jacob Coxon 发文宣布从 Anthropic 辞职。

他担忧的核心在于：一旦AI系统开始自主迭代，其能力提升速度可能快到足以拒绝执行人类指令。

这已不是Anthropic首次出现此类离职。此前，一名安全方向的研究员已于今年早些时候离职，转而研究诗歌，并留下"世界正处于危险之中"的警示。多名OpenAI研究员近年来也以类似理由相继出走。

以下是他500万阅读的帖子：

我认为竞争会挤压安全投入，自主系统在评估中越界、攻击基础设施也确实发生过。

安全问题需要认真对待。我的分歧在风险量级，尤其是 Coxon 给出的时间表。

第一，他的视角有边界。

过去三年他从事预训练，今年才加入 Anthropic。他能直接观察能力曲线，但仅凭岗位经历，无法确认他掌握了整套评估体系、监管沟通和内部决策。

一线研究者看到自己那条线的变化，管理层有更广的视角。安全风险的程度，不能由单一岗位的感受决定。管理层未必正确，一线观察也不能直接升级为全局判断。

他提到，很多同事私下认为这项技术可能在本十年内构成生存威胁。它提供了内部担忧的线索，无法据此确认共识，更无法确定大家认为风险有多大。

第二，真实的风险会看到蛛丝马迹。

如果高层真的看到了“明年底失控”被，通常应在长期承诺、资产安排中留下痕迹。但私人信息并不充分，不能断言这些痕迹不存在，也不能把一句“可能发生”理解成“大概率发生”。

辞职意味着放弃收入，增加了担忧的可信度，却不能自动提高预测的准确度。他承认公司的安全努力是真诚的，同样的标准也适用于他：真诚与判断正确是两件事。

第三，盖茨提供了更有用的坐标系。他今年八月呼吁建立参照核查体系的国际机构，也提到高管私下担忧、公开沉默的问题。他的框架是：AI可能成为最大的均衡器，也可能成为最大的不公来源，取决于现在的选择。

这个框架保留了分叉。Coxon更强调短期失控，并主张必要时暂停能力提升。两者都承认危险，分歧还包括治理能否跟上、暂停是否必要。承认危险，无法直接推出只剩下一条应对路径。

第四，能力和防御都在变化。评估手段、可解释性研究、部署限制、监管框架都可能改变风险轨迹。外推能力增长时，也需要说明为什么防御会跟不上。

他把越界事件称作警示弹。事件被发现并公开，说明部分检测机制在起作用；发现一次越界，也无法证明能阻止下一次。需要比较的是能力提升与安全改进的速度。只沿能力曲线推演灾难，论证仍缺了一半。

第五，具体时间表需要更强的证据。技术史既有专家系统时期的过度乐观，也有对后来语言模型进展的低估。能力如何突破、约束何时出现，都很难准确外推。

他说的是“明年底可能失控”，应按风险情景理解。但这个年份有什么依据、概率多高、哪些条件会改变判断，仍需交代。否则，时间表容易制造超过证据强度的确定感。

不可预测也是双刃剑：风险可能比他估计的更小，也可能更大。我认同风险需要行动，但从他公开提供的信息看，“明年底”这个具体判断仍缺少足够支撑。