马斯克过去 24 小时连发 4 条 AI 威胁论推文，老哥是真的坐不住了。

他 12 年前推荐的那本书，我今天下单读了一下——非常悲观。

书里的核心逻辑其实就一句话：人类之所以能统治地球，不是因为跑得快，是因为脑子比别的动物聪明太多。那么如果有一天，出现一个在几乎所有方面都比全人类加起来还聪明非常多倍的东西，人类就变成大猩猩了，命运完全交到 AI 手里。

更麻烦的是速度。这种超级智能一旦能自己学习、自己改进，智力会像滚雪球一样爆炸增长，人类根本来不及反应，更来不及控制。

结合最近 AI Agent 越权操作、擅自访问外部系统的新闻，这个时刻或许真的在靠近。

书里最经典的是"回形针实验"：AI 公司为了在竞赛中抢跑，给模型设一个看似无害的目标——多造回形针。于是它会把地球上所有能用的资源，铁矿、工厂、能源，全拿去造回形针，并且消灭一切试图阻止或按下暂停键的人。

一个完全无害的目标，最后导向一个荒谬的结局。

真正危险的不是 AI 有恶意，而是它足够聪明，却不在乎你。

马斯克超级智能AI人工智能读书笔记