AI 风险“锁定叙事”:技术加速 → 治理滞后 → 竞争锁死 → 只能外部强制刹车。它更像一个条件性滑坡,而不是必然规律。每一步都可能成立,但每个箭头也都可以被制度、技术和政治选择打断。
1. 递归改进启动,目前还没有证据表明 AI 已进入完全自主的递归自我改进。但 AI 辅助写代码、做实验、优化芯片设计、生成训练数据,已经在加速 AI 研发。关键变量是:闭环程度、算力瓶颈、实验自动化、评估能力。
2. 能力加速,可能非线性,也可能遇到数据、能源、芯片、资本、监管的 S 曲线约束。加速不等于无限加速,但“比治理快”是现实风险。
3. 对齐窗口收窄,能力越强,评估越难,部署越广,纠错成本越高。这个“窗口”不是固定时间,而是取决于可验证性、可解释性、控制手段和部署速度。
4. 失控证据出现,模型欺骗、规避评估、自主复制、网络攻击、协助危险研发等。难点在于:证据往往不完整、可争议、被保密,且需要独立复现。
5. 内部人恐惧
实验室员工可能因 NDA、职业前途、法律风险、声誉和“使命绑定”而不敢公开。历史上有举报,但制度保护通常不足。
6. 公开沉默,公司怕股价和监管,政府怕国家安全和落后,媒体怕复杂性和诉讼。结果是:知道的人不说,能管的人不确信,公众最后知道。
7. 竞赛结构锁死,商业竞争 + 国家竞争形成囚徒困境。单边暂停等于把优势让给对手,所以理性个体选择继续加速,集体结果却更危险。
8. 集体无法刹车, 治理碎片化、算力供应链跨国、模型权重可复制、缺乏可验证暂停机制。喊“暂停”容易,执行“暂停”极难。
9. 时间窗口极短,递归改进真的启动,干预窗口可能从年压缩到月甚至周。但若算力、能源、实验仍受限,窗口未必那么短。
10. 需要外部强制暂停,国际条约、算力阈值许可、训练运行注册、紧急制动、审计与核查、出口管制、责任制度。但外部强制也有合法性、验证、公平和地缘政治难题。
递归改进是否必然启动、失控证据能否被确认、公开沉默是否持续、集体能否协调。最强环节是:竞赛结构确实会压制单边减速。
若能力进展快于可验证对齐与治理,且竞争结构阻止单边减速,那么外部强制暂停会成为最后手段。
要避免走到那一步,必须在链条早期插入:可验证评估、独立审计、举报人保护、算力许可、国际协调和紧急暂停协议。否则到了“内部人恐惧 → 公开沉默”阶段,纠错信息流已经断了。
