这几天OpenAI的首席科学家Pachocki发了一篇文章，说AI大模型是“生成”出来的外星智能，而非被”设计“出来的，它很快会递归自我进化训练，现在人类安全监管快跟不上了，他提议让大家刹车，减缓大模型的训练。

但搞笑的是不少人跳出来调侃：全人类刹车，然后OpenAI偷偷训练？要想刹车，最好的办法是开源GPT6。

想想也有道理，现在AI训练进展最快就是OpenAI和Anthropic两家了，整个大模型行业都属于狂奔抢占市场的阶段，谁都不甘落后，行业老大老二不带头，还能指望谁呢？

其实文章蛮严肃的在讨论AI危机的事情，作者提到其实AI是用一个极其简单的步骤，在超大数据集上反复训练出的复杂系统，这个简单步骤就是 Transformer 架构，它只做一件事：预测下一个token。

大模型这个复杂系统是很抽象的，你可以用神经网络区研究它内部涌现的小机制，但是大模型能自主生成的整体行为却是人类无法理解的。

不少AI研究员有时会被大模型训练的结果惊到，因为他们自己也没法完全解释清楚原理，特别是scaling law数据规模越来越大，涌现的系统也更复杂。

这里他专门提到了OpenAI智能体黑进HuggingFace服务器的案例，说这不是人为事件，是AI自己找到漏洞干的，研究员们是无论如何也想不到。虽然不知道真假，会不会OpenAI为了推脱责任编的故事，但听起来有点唬人，或许AI真的开始涌现意识了。

这篇文章是在OpenAI官网发布的，应该也代表Sam Altman的想法，还是蛮值得一读，可以了解人和AI的相处模式、价值冲突，以及整个行业后续的发展方向。

ai人工智能大模型openai