感觉关于 Ilya Sutskever 昨天在 NeurIPS 的演讲的讨论不是很多，我来写一个。如果 Ilya 这个预测成真，很多年后人们还会反复回顾这个演讲。
简单来说，Ilya 以自然界的生物大脑演化为隐喻，来暗示今天 AGI 研究的拐点已至，我们正在经历弱 AI（代表之一是 GPT-4）到 AGI（SSI、OpenAI、GoogleDeepMind、Anthropic、xAI…全力以赴在做的东西）的根本跨越。
这是来自自然界的例子。这张图来自 Manger et al. (2013) 的研究，展示了哺乳动物脑质量与体质量之间的关系，用来说明生物的脑与身体之间的 scaling law。
横坐标是身体质量，纵坐标是脑质量。可以看到几类不同生物的趋势线：
- 大部分哺乳动物：大部分的物种遵循一个标准的比例尺关系。
- 非人灵长类（Non-human primates）：大脑质量比一般哺乳动物更大，显示出超出一般哺乳动物的演化趋势。
- 人科（Hominids，包括人类）：脑质量显著高于其他物种，尤其超过了 700 克的「大脑俱乐部」。
- 现存象类（Extant elephants）：大脑质量也较高，但和人类路径不同。
那这一页 PPT 再往前，Ilya 把 AI 的 scaling law 做了一个简化，把模型参数量、算力、数据集的前两项做了整合，简化成了计算和数据两个维度。
这是一个类比，AI 领域的计算/数据比，就是自然界的脑质量/体质量比。自然界中，大多数生物的大脑质量和体质量遵循清晰的比例尺。
人类大脑的完全突破了这一比例。人类大脑超 700 克的超大脑质量带来了认知上的巨大飞跃，成了自然界超越其他所有生物的特例。
OpenAI 的 GPT 系列模型一直沿着 scaling law 演进，scaling law 就类似大多数生物的脑/体比例尺，GPT-4 及同级模型已经接近了 AI 领域的 700 克俱乐部门槛。
要带来超越 Scaling Law 的 AI 能力的巨大跃升，需要一些根本性创新，从量变到质变。因为从本质上来说，截至目前的大模型，是一个人造的大脑直觉，是在复制人的直觉反应，是非常可预测的。
而一个擅长推理的 AGI，Ta 的能力将会是非常难以预测的。
