“我今天从 Anthropic 辞职了。我过去三年在 OpenAI 和 Anthropic 都从事过预训练研究。两家公司都没有负责任地行事。他们正直奔自我改进的超级智能而去，用我们的生命在赌博。更多想法见下文。

不要低估这项技术的力量。这些系统很快将成为超人类系统，能够入侵任何事物，在一夜之间彻底改变任何领域，并获得真正的权力和资源。我们都见证了这些领域中的每一步进步，而进步并未放缓。

那些认真开发人工智能的人真心相信，它可能会在十年末杀死我们所有人。这不是营销噱头。如果说有什么的话，许多高管和高级研究人员会在媒体上谨慎措辞以显得理性——但我私下听到这些人表达恐惧。没有其他人类活动带来这种程度的危险。

一个常见的回应是“如果他们真的相信这一点，为什么还要继续建造它？”在 OpenAI，许多人并没有深刻内化其中的文明风险。在 Anthropic，这些风险被很好地理解，但他们陷入了一场抢先到达的竞赛——他们相信其他人不会负责任地行事，所以他们必须自己动手，尽管存在风险。

我对协调的潜力持乐观态度。像 Hugging Face 攻击这样的警告性事件已经让美国实验室之间的节奏协议变得更加可行。我并不觉得我们正走在防止全球竞赛的轨道上，而这可能需要采取代价高昂的行动，例如暂时禁止提升模型能力。

如果你是实验室研究员，我敦促你考虑未来几年真正会是什么感觉。你想在没有对其思维有严格理解的情况下启动一个超智能强化学习运行吗？你应该因为“反正它都会发生”而埋头苦干——还是抓住这一刻呼吁不同的条件。

”