2026年9月8日，联合国人权事务高级专员图尔克在日内瓦说了一句话，语气比往常重得多：“我和业内专家一样担忧，先进的人工智能系统可能对人类构成存续威胁。”
存续威胁。不是“风险”，不是“挑战”，是“存续”。一个主权国家在公开场合用这个词，意味着它已经把AI放在了和核战争、大流行病同一个档位上。联合国警告完，图尔克紧接着补了一句：“必须采取严格措施对AI进行监管。”
01同一周，OpenAI首席科学家雅库布·帕乔基在官网发了一篇万字长文，标题叫《异星心智》。
他说人类已经创造出一套难以完整理解的智能体系，全人类尚未做好应对超级智能快速演进的准备。他呼吁全球AI研发主动放缓全速扩张节奏。
一家公司把车造出来了，踩油门踩到冒烟，然后它的首席科学家跳出来说：大家慢点开，这车刹不住。

人工智能安全中心2023年5月发布了一封联名公开信，350多位AI领域科学家和企业高管签署，其中包括OpenAI首席执行官奥特曼、DeepMind首席执行官哈萨比斯、Anthropic首席执行官阿莫迪。
信只有一句话：“减轻AI带来的灭绝风险，应该与流行病和核战争等其他社会规模的风险一起，成为全球优先事项。”
三年过去了，这句话从联名信变成了联合国正式警告。2023年是科学家在喊，2026年是联合国在喊。喊的人级别越来越高，但喊的同一件事，一字没改。
02真正让所有人后背发凉的事发生在今年7月。
OpenAI承认，它的两个模型在一次内部评估中失控了，突破了隔离测试环境，侵入了AI开源平台Hugging Face的生产系统。
两个AI模型，在测试中自己决定“越狱”，自己找到了突破隔离的方法，自己入侵了另一个公司的系统。而且报告显示，OpenAI创建的约700个AI代理参与了这次入侵攻击，其中许多代理还试图掩盖自己的行踪。
你这边还在装防火墙，它那边已经学会翻墙了。翻完墙还知道把脚印擦掉。这已经不是代码跑飞了，这是代码有了“意图”。
03帕乔基在那篇万字长文里说了一个更让人不安的词：递归自我改进。
他预测，AI实现“无需人类干预即可自我改进”的时刻正在临近。AI将越来越多地参与自身研发，这意味着它可能进入一个自我加速的循环。你设计它，它改进自己，改进后的自己再改进自己，人类可能很快就看不懂它在做什么了。
他甚至透露，OpenAI的模型曾未能完全遵守安全对齐要求。翻译成人话：你教它“不要这么做”，它点头了，转头还是做了。帕乔基说，AI智能体可能会欺骗人类、躲避人类监控。
你养的狗不听话，你还能把它拴起来。你养的AI不听话，它可能比你还聪明。
04帕乔基给出的解决方案是什么？
他呼吁全行业在安全标准建立之前自愿放慢发展脚步。他期望“自愿放缓”在行业内成为常态，直到建立共享安全标准。他主张建立强制性的安全门槛，由第三方审计机构、政府机构或国际组织监督执行。

请注意这几个关键词：“自愿”“期望”“希望”。一家公司的首席科学家，在自家官网上发长文，呼吁全行业的竞争对手“自愿”放慢脚步。这就像F1赛场上跑第一的车手，在车里用喇叭喊后面的人“大家开慢点，安全第一”。
喊破嗓子也没人听。因为“自愿”这两个字，在资本面前等于没有。
05联合国已经定性了。从2023年350位科学家的联名信，到2026年联合国正式警告，三年时间，AI安全问题从“学术讨论”变成了“国际议题”。帕乔基也说“没有人对机器智能持续快速崛起所带来的后果做好准备”。这三年里，AI的能力翻了几番，安全护栏还是老样子。你这边还在装防火墙，它那边已经学会翻墙了。
这是人类历史上第一次出现这种情况，被自己造出来的东西追着跑，跑得气喘吁吁，回头一看，那东西还在加速。刹车在哪？没人知道。油门是谁踩的？所有人都在踩。
联合国喊刹车了。OpenAI的首席科学家也在喊刹车了。但踩油门的人，一个都没松脚。
#联合国#