最近AI圈这波讨论，真不是往常那种随便唱衰的老调子。

有个刚从顶尖AI公司辞职的研究员，直接把话给说透了：

现在整个行业都在疯了一样往“能自己进化的超级智能”上冲，真正可怕的根本不是现在的聊天机器人有多聪明，而是哪天人工智能开始自己改良自己了，那进化速度快到人类压根就跟不上。

更让人心里发毛的是，业内同行没人把他这话当成疯话。

就在他公开放出警告之后，Anthropic负责人工智能对齐研究的埃文·胡宾格直接出来回应了：

他们确实是认真觉得，人工智能有可能灭掉全人类，他个人估计，未来十年出现这种结果的概率超过10%。

同时他也承认，到现在为止，怎么让未来的超级智能永远顺着人类的目标走，这个问题根本还没解决。

这才是这次事件真正炸翻整个AI圈的地方。

事情发生在9月8日，辞职的人叫雅各布·考克森。

可能你没听过这个名字，但你只要知道两件事，就能明白他的话分量有多重。

第一，他过去三年先后在OpenAI和Anthropic这两家全世界最顶尖的AI公司，做预训练研究，属于最核心的技术团队，还参与过GPT-4o这类重量级项目的研发。

第二，他这次辞职，相当于主动放弃了马上就要到手的巨额股权。

他在Anthropic才待了四个月，还差两个月就能拿到公司股权，可他直接选择走人，这笔钱说不要就不要了。

他在社交平台上写得很直白，这两家公司都没有负起该负的责任，它们正径直冲向能自我改进的超级智能，这是在拿全人类的生命进行赌博。

他还说，那些真正在一线构建AI的人，私底下其实都真心相信，这项技术可能在这十年结束前夺走所有人的生命，这根本不是什么营销噱头。

就这么一篇帖子，短短几天浏览量就突破了一亿次，整个全球科技圈都被震动了。

在我这里，我会觉得最难得的地方就在这儿。

他不是被公司开除了泄愤，也不是为了出名博眼球，是放着现成的高薪和股权不要，宁可得罪整个行业，也要把心里的担忧说出来。

但真正让这件事彻底升级、从圈内讨论变成全网关注的，还不是他辞职这件事本身。

你知道真正的爆点是什么吗？

就在考克森发声之后没多久，他的前同事埃文·胡宾格直接公开回复了他。

这个胡宾格不是一般人，他是Anthropic公司对齐科学团队的负责人。

说白了，就是专门研究“怎么让AI老老实实听人类话”的人，相当于整个公司的“安全刹车”部门主管。

他不仅没出来辟谣，反而把话说得更透。

他说，雅各布说得对，我们是真的、真心地相信AI有可能杀死所有人类。

我个人认为，未来十年内发生这种情况的概率，超过10%。

他还直接承认，尽管公司已经在尽最大努力，但目前我们根本还没有解决超级智能对齐问题的方案，甚至都没走上能解决问题的正轨。

可能有人会说，不就是10%吗，概率也不高啊，至于这么紧张？

这里我得跟大家说清楚，这个10%不是什么科学家用复杂公式算出来的精确结论，也不是什么官方发布的统计数据。

它就是一个天天扎在安全研究里的顶尖专家，基于现在的技术发展速度、未来超级智能可能的演化路径，还有目前安全研究的进展，做出的一个主观判断。

可我反倒认为，恰恰是这个“主观判断”，才最让人心里发毛。

你想啊，一个专门负责给AI装“刹车”的人，自己亲口告诉你，这车以后速度会快到离谱，但我们现在还没研究出来靠谱的刹车系统。

这难道不比一个冷冰冰的精确数字更吓人吗？很多人一听到AI危险，第一反应就是科幻电影里机器人造反、拿着武器打人类的画面。

其实根本不是这么回事。

这些研究人员担心的，根本不是今天的聊天机器人突然产生意识、然后主动恨人类。

他们真正怕的东西，叫“递归式自我改进”。

这话听着绕口，我给你掰碎了说，保证你一听就懂。

现在的人工智能，从头到尾都是人在忙活。

人类工程师设计模型结构，人类准备训练数据，人类调试参数，人类测试漏洞。

升级一代模型，少则几个月，多则大半年。

但如果未来有一天，AI本身足够强大了，它能自己干这些活了呢？

它能自己找出自己的缺陷，自己设计新的训练方法，自己写更好的代码，然后用升级后的自己，再去升级下一代模型。

一旦开了这个头，进化的速度就会像滚雪球一样，越来越快，根本停不下来。

人类升级一次要几个月，AI自己升级可能只需要几天、几小时，甚至更短的时间。

回过头看，这才是最核心的风险点。

不是AI有了主观意识要刻意害人，是它自我进化的速度，一旦突破某个临界点，就会彻底超出人类的理解范围和控制能力。

说到这儿肯定有人会问，既然这么危险，那大家停下来慢慢研究不行吗？

先把安全问题彻底搞透了，再往下发展不行吗？哪有这么简单的事。

现在的人工智能，早就不是实验室里不食人间烟火的科研项目了。

它是一场万亿级规模的商业竞赛，是各家科技公司抢用户、抢资本、抢行业话语权的主战场。

OpenAI在往前冲，Anthropic在往前冲，谷歌、微软还有大大小小的科技公司，全都在铆足了劲往前跑。

谁先做出更强的模型，谁就能抢到更多的用户、拿到更多的投资、占住更大的市场份额，甚至就能定下未来整个行业的规则。

这就形成了一个特别憋屈的局面，就是大家常说的“囚徒困境”。

每家公司心里都清楚，超级智能可能藏着巨大的风险。

可如果我主动放慢研发速度，我的竞争对手不放慢呢？最后人家先做出来了，占领市场了，我就输了，甚至可能直接被行业淘汰。

风险是全人类一起担的，但输掉比赛的代价，得我自己一家公司扛。

所以结果就是，所有人都知道往前冲有隐患，可谁也不敢先停下来。

不仅不敢停，还得越跑越快，生怕被别人甩在后面。

路透社之前的相关报道也印证了这个矛盾。

人工智能模型的能力正在快速提升，但与此同时，研究人员对模型的自主性、可监控性和安全问题的担忧也越来越深。

可海量的资本就像一只无形的大手，死死推着整个行业往前跑，根本很难真正踩下刹车。

说实话我觉得这才是整件事最让人生气的地方。

不是技术本身有多可怕，是明明很多人都看到了风险，可被商业竞争的逻辑绑架着，不得不继续加速。

就像一整车人都看见前面路况不对，可司机不敢踩刹车，因为旁边的车都在超，你一慢就会被挤出去。

这算什么道理？难道全人类的安全，还要给商业竞争让路吗？说到这儿肯定有人想问，那我们现在该怎么办，难道只能干等着事情发生吗？

其实真的没必要因为这10%的数字就过度恐慌，它只是一个专家的个人判断，不是板上钉钉的结局。

十年之间，技术怎么发展，监管怎么跟进，中间有太多变数可以改变走向。

但我们也绝对不能把这话当成耳旁风，一笑了之。

真正值得警惕的，从来不是“AI会不会毁灭人类”这个遥远的设问，而是我们正一边把技术越做越强，一边还没搞明白怎么稳稳控制住它。

人类历史上太多次都是这样，先把工具造出来，出了问题再想办法补救。

可这一次，我们赌不起。

毕竟工具再强大，能握在手里、收放自如，才是真正的助力。

要是等它脱了缰才想起找缰绳，那就真的太晚了。