北京时间11月7日，硅谷知名VC机构a16z的两位联合创始人Marc Andreessen与Ben Horowitz就AI相关的安全、监管、风险、瓶颈等话题展开了精彩讨论。

在对话中，两位资深的投资人表示，今天的AI还没有能力进行自我学习自我改进，担忧其带来的风险而阻止其发展是不对的，相反没有AI，类似治疗癌症的问题可能无解。同时，AI在某种意义上能做的事情比人们想象的要窄得多，并且它的发展正面临算力、能源、冷却等物理限制。

两人在对谈中指出，两年前业内只有一个领先的LLM（大语言模型），那就是OpenAI的模型。而今天，大约有六个模型的能力接近这个水平。同时，比较GPT2.0到GPT-4的发展历程，GPU在以同样的速度增加，但最终发现“我们在提高智能方面的速度明显减慢了”。这背后可能跟人类知识已经被LLM耗尽有很大关系。

Marc Andreessen认为，虽然业界有许多聪明的人在努力突破性能上限，但当前AI的性能正在趋向于达到一个局部的顶点。

两人还认为，今天的大型语言模型本质上更像是一个巨大的函数方程式。用户在一个巨大的训练数据矩阵中进行搜索，根据你如何提问以及模型在“潜在空间”中路径的概率，给出非常不同的答案。在这样现状之下，担心AI产生“意识”，能够自我进化是站不住脚的。

以下是两人对话的精彩实录节选，智能超参数编译，enjoy：

AI还没有能力“起飞”（Takeoff）

Ben Horowitz：首先，我们可以从“安全”这个广受关注的领域开始，特别是物理安全。有许多不同的观点，尤其是所谓的“悲观主义者”经常警告的一个重要议题是“起飞”概念。

所谓的“起飞（Takeoff）”是指，理论上（目前还没有实际发生），AI可以学习如何自我改进。一旦AI学会自我改进，它将变得越来越聪明，最终可能会产生自己的意志，甚至会采取对人类不利的行动，或者可能因为执行指令过度而做出极端行为，比如为了获得制造回形针的原材料而灭绝人类。

这是关于安全性的科幻忧虑，另一方面则是发布非法信息的问题，如制造爆炸物、生化武器的教程，或找出网络安全漏洞并编写入侵程序的指引。这些都属于安全领域的话题。

此外，还有一种安全性，即心理安全性，稍后我们会详细讨论这个话题。

那么我们从哪里开始呢？也许可以从“起飞”概念开始，因为我认为这是发展得最深入的议题之一，并且仍在进行。我认为有些人仍在推动“浮点运算能力限制”，这在某种程度上与国家安全和起飞概念相关。所以或许可以从这里开始。

Marc Andreessen：也许我们可以先从一种认识论的框架来讨论这些事情。因为人们往往会直接进入讨论，情绪激动，但并未设定如何进行讨论的基本规则。在讨论这些议题时，有两种方式。首先，我们面对的是一个未来的可能情境，也就是说这是一个假设。

Ben Horowitz：有人设想AI会做出某些我们目前还不知道如何实现的事情，但我们认为未来或许能够实现。这一点非常重要，我认为需要明确这一点。

Marc Andreessen：这可能会在未来发生，也可能不会，我们并不知道。而在这种情况下，警示未来灾难的人往往认为自己在论证上占据了上风，他们的逻辑形式是：“你无法排除这种可能性”。

我可以举一个例子，之前我在Sam Harris的播客上与他进行了长时间的讨论。Sam Harris是我多年的偶像，但在那个播客里，我尝试列举了十几个理由来分析这种情况的可能性，考虑物理的局限性、技术的限制等等。他的回应基本上是：“你仍然无法排除这种可能性”。

在这种情况下，这种逻辑会引导我们进入一个曾被称为“切尼主义”的逻辑陷阱，名字来源于迪克·切尼。这种观点在20年前提出，当时围绕伊拉克的大规模杀伤性武器问题存在广泛的担忧。切尼主义认为，如果有1%的可能性发生灾难性事件，就需要100%的确定性去阻止它发生。

AI版本的切尼主义主张，如果有一个数据中心可能发生“起飞”，即便风险导致核战争，也要派空军炸掉那些数据中心。

当然，这种逻辑陷阱可能会导致非常黑暗、反乌托邦式的状况，而我们要防范的情境可能根本不会发生，甚至极有可能不会发生。

另一种认识论框架是科学家思维模式。卡尔·萨根曾经说过：“非凡的主张需要非凡的证据。”原因是，聪明人可以坐在这里想出各种未来的噩梦场景，比如大型强子对撞机可能摧毁现实，又比如可能会出现武器化的超级技术等等。

我们可以整天做这样的假设，并推测它们会发生。但是，如果这是一个非凡的主张，就需要非凡的证据。如果你没有非凡的证据来证明它将发生，那么你很有可能只是让自己陷入一种疯狂的状态，而这种思维方式的意外后果可能比所谓的“噩梦情景”更加糟糕。

Ben Horowitz：历史上，我们有很多这样的教训，例如入侵伊拉克，禁止核能，这些行动导致了当前的气候变化状况。因此，考虑到0.0001%的几率会发生灾难性事件而采取极端措施并非无代价的。

Marc Andreessen：事实上，切尼主义在科技领域的一个完整版本就是所谓的“预防原则”。这种原则最早由德国绿党在20世纪70年代提出，目的是阻止民用核能的扩散，并最终成功了。

预防原则的意思是，除非发明新技术的科学家或技术人员能够证明它在所有情境下都是无害的，否则该技术不应该被应用。

然而，这种原则的问题在于，如果我们回溯历史，比如火、汽车、电力、铲子、管道等技术，在发明时谁也无法保证它们在所有情境下都是安全的。

因此，成熟的对话应当是理性地、同情地权衡利弊，而不是陷入“除非完全安全否则不可行”的幼稚逻辑中。

此外，预防原则在核能问题上的应用也被许多人视为灾难性的错误，因为核能被认为是目前能提供无限清洁能源的解决方案。我们过去60年间，为了避免使用核能而大规模发展碳基能源，现在这一选择带来的气候影响让很多环保人士深感后悔。

顺便说一下，除了阻止AI，还有另一种情况：AI有风险，但没有AI也有风险。

没有AI的风险

Ben Horowitz：没有AI的风险意味着无法治愈癌症的风险。无法治愈癌症，无法解决任何重大问题，比如气候问题、地缘政治问题、食物和水资源问题等。

我们今天在世界上面临的每一种主要的棘手问题，随着时间的推移都可能通过更好地运用基于数据的智能来改善，而这正是AI所能提供的。

所以基本上，你是在说，我们不应该解决世界上任何问题，因为AI可能会以一种我们无法想象如何应对的方式爆发开来。

Marc Andreessen：是的。没错。然后我们回到现实中来，反驳这一观点的论点将是：虽然我们不能排除这种可能性，但我想说的是，现阶段我们不知道如何制造能自主发展的AI。换句话说，如果我们知道如何实现这一点，我们会投入到这方面的研究中，但我们还没有做到。

Ben Horowitz：这让我想起了小时候看过的那些关于时空穿越的经典科幻电影。物理定律虽然允许时间倒流，但我们仍然不知道如何做到这一点，即便我们无法排除这种可能性。

因此，因为我们无法排除它，我们是否应该禁止所有新的物理研究？因为有可能我们会发现时间倒流的方法，从而改变未来并破坏一切。

但现在谈论这种事就像我们在讨论一种我们还不知道如何实现的事情。

Marc Andreessen：是的。在这些讨论中存在不对称性，这涉及到情感的偏见。持复杂观点和悲观论调的人听起来老练、智慧而富有经验，所以在这些讨论中，悲观主义者往往听起来像成年人，像是在对未来发出警告的智者。而乐观主义者，或者说实用主义者，则显得幼稚，好像不理解自己所提议的事情的影响。

Ben Horowitz：你怎么能把人类置于危险之中，马克？让我们现在就拔掉数据中心的电源吧。实际上，我们应该炸毁它们。

Marc Andreessen：没错，炸毁数据中心，不留任何风险。所以，这就是讨论问题的框架。

就内容而言，我不能排除任何可能性，但我们不知道如何制造能够自主演变的AI。这种东西不存在。而反驳整个假设情景的最佳论点是物理学的限制。

AI初创企业的限制

Marc Andreessen：比如说，今天坐在这里，让我问你，Ben，当前AI初创企业面临的主要限制是什么？

Ben Horowitz：他们缺少GPU。（笑）这是一个真实的问题。即使拿到了芯片，我们也没有足够的电力。即使有了电力，我们还没有足够的冷却设备。所以，这当中有很多步骤。

顺便说一下，我要说明的是，从AI在某种程度上能够自我改进到成为一种全能的、全知的类似神的存在之间，有很大的差距。

AI的历史表明，它在某种意义上能做的事情比人们想象得要窄得多。虽然我们取得了惊人的进步，但它在许多方面仍然非常具体，特别是在自我改进领域，未来很可能会继续保持这种状态。

如果你看一下自我改进领域的研究，就会发现它并不是完全重新设计自身并创造出一个天才机器，而是进行更多的迭代改进，比如推理能力等方面的小改进，这些并不会导致超级自主进化的情况。

此外，你会遇到GPU不足、电力不足、冷却不足等问题。所以，我很有把握地说，根据我所掌握的知识，这种情况不太可能是“一步到位”的爆炸性突破。

Marc Andreessen：是的。我认为公平地说，你同意这一点。我们尚未看到任何AI可以创造出比自身更高级的版本的实例。没有，完全没有。实际上，AI甚至连在机器学习算法方面实现重大进步都没有做到。确实没有发生过类似的事情。所以，我们依然处在假设的领域。

还有另一件正在发生的事情，我们将在未来的节目中讨论。

两年前，只有一个领先的LLM（大型语言模型），那就是OpenAI的模型。而今天，我们看到大约有六个模型的能力接近这个水平。有趣的是，目前来看，它们都在某种程度上趋于相同的能力上限。

当然，业界有许多聪明的人在努力突破这些上限，但以目前的情况来看，如果仅从数据图表来看，我们会认为当前AI的性能正在趋向于达到一个局部的顶点。

AI发展面临的实际瓶颈

Ben Horowitz：是的。如果你比较GPT-2.0到GPT-3.0，再到3.5的提升，然后再看从3.5到GPT-4的进步，我们在提高智能方面的速度明显减慢了。

值得注意的是，GPU的增加是相当一致的。尽管我们在同样的速度增加GPU，我们却未能获得相应的智能提升。其中可能有许多原因，包括数据的匮乏等。我们正在耗尽人类知识。

Marc Andreessen：是的，确实如此。简而言之，这背后的原因是这些系统的性能与训练数据密切相关。这些大型模型基本上是通过抓取互联网内容来训练的，使用所有由人类生成的文本，甚至包括视频和音频等多种数据。然而，这些数据是有限的，确实有限。

因此，一些大型AI实验室在数据受限的情况下，雇佣了数千名程序员、医生和律师等专家手写答案，以便训练AI。这已经达到了这样的约束程度。

Ben Horowitz：这让我想起了E.Mison，当时用于医疗诊断的早期专家系统。

Marc Andreessen：是的，确实如此。这也与人们担心的AI引发失业的问题相关，而讽刺的是，目前实际发生的是AI领域的招聘热潮。其中很大一部分招聘是为了雇佣专家来编写训练AI所需的答案。这颇具讽刺意味。

正如Ben所说，目前的情况是有六个模型在某种程度上达到GPT-4水平。当然，有很多聪明人在努力突破这个瓶颈，试图实现更高的推理能力。但在这发生之前，实际上没有理由担心自我改进，因为我们甚至还不知道如何做到哪怕是小幅改进。

Ben Horowitz：顺便说一下，我认为这可能是最重要的政策原则：不要急于对尚未发明的东西进行监管。这是一个非常危险的想法，比放任其发展、导致其失控更危险。

LLM只是一个巨大的函数方程式

Marc Andreessen：Ben，从另一个角度来看，你提到了一个观点，即那些“末日论者”的跳跃式思维不仅仅是无限的自我改进，还包括无限的自我改进变成敌意。

Ben Horowitz：敌意、自由意志以及自身意识。

Marc Andreessen：公平起见，我要指出，为了给“魔鬼的代言”一些支持，这里有两种分支的论点。一种是AI发展出自己的意识、目标等。另一种是所谓的“工具性收敛”（Instrumental convergence）现象。基本上，这个观点认为，即便是非自我意识的智能，最终也会得出必须消灭人类的结论，因为人类是资源的竞争对手。

这种情况就像《黑客帝国》或“回形针最大化器”那样的具体例子。理论上，如果你告诉一个不存在的AI“制造尽可能多的回形针”，它会想办法将整个世界变成回形针，甚至将我们身体的分子分解后变成回形针。

Ben Horowitz：有趣的是，这种AI既聪明到可以做到这一点，但又愚蠢到不明白这不是我们想要的。这种逻辑让我无法理解。即便是今天与非常原始的AI互动时，也不会出现这种情况。它们比这聪明多了，不会让你做出这种指令。

Marc Andreessen：是的，没错。你今天可以尝试，任何人都可以尝试，与聊天伙伴或其他系统交互，问它们是否会做某事，比如问它“你会这样做吗？”它会详细解释为什么不会这样做。

这也反映了我们应该退一步来看AI的问题：AI是一个被用于描述一系列具体技术的广泛术语，实际上今天我们拥有的AI形式并不是我们原本以为会出现的形式。

Ben提到了“专家系统”，我和Ben在80年代上大学时，经历了那个所谓的“专家系统”热潮。当时的想法是，AI会通过定义成千上万个具体规则来运作。但这种方法行不通。

还有其他许多AI研究方法。让所有“末日论者”感到恐慌的书，是10年前由牛津哲学家尼克·波斯特罗姆（Nick Bostrom）写的《超级智能》。这本书涵盖了各种“超级智能”或AI可能实现的途径。

但书中没有提到AI会以大型语言模型的形式出现。确实如此，该领域的关键论文和变革性的算法——Transformer架构——是在书出版之后出现，所以他不可能知道这些。

但问题在于，出现了一种认识上的偷换概念：人们读了这本书，然后找到了一种书中未提到的东西，接着立即尝试将书中的观点映射到这种新技术上。

然而，大型语言模型的工作方式与书中描述的AI完全不同。确实，它们的工作原理大不相同。例如，如我们与真相终端讨论的那样，它们的工作方式非常不同。

这意味着，特别是那种“AI自动成为像终结者那样无法停止的优化机器”的观念——一种会不断运转直到将一切变成回形针或导致所有人类灭绝的AI——与大型语言模型的实际运作方式并不相符。

Ben Horowitz：大型语言模型的任务本质上是预测下一个token，它们在训练过程中被调整，以避免做出愚蠢的决定。

Marc Andreessen：是的，确实如此。顺便说一下，它们在运行一段时间后会失去连贯性，token用尽时会出现混乱。它们存在各种各样的局限性和问题，久而久之会变得糊涂。

此外，LLMs（大型语言模型）没有统一的“意识体”。人们常犯的错误是把它们说成“它会这样做”或“它会那样做”。

但实际上，大型语言模型更像是在一个巨大的训练数据矩阵中进行搜索。根据你如何提问以及模型在“潜在空间”中路径的概率性质，你会得到非常不同的答案。

所以，根本就不存在一个“它”。这就是我所说的“类别错误”：并不存在某个统一的“意识”或“小人”在模型内部。

Ben Horowitz：这也是我想说关于波斯特罗姆那本书的一点——他用一种扭曲的方式将机器拟人化，这并不现实。当然，我们人类总是倾向于将一切事物拟人化，把它们看作是“我们”。

但实际上，LLM只是一个巨大的函数方程式，在人类知识的空间中搜索答案。所以，我不明白人们是如何得出他的观点的。但我们拭目以待吧。

Marc Andreessen：顺便说一句，尼克·波斯特罗姆最近还写了一本新书，讲述了超级智能如何让一切变得美好。所以，他实际上自己已经从“末日论者”的立场上转变了。他现在不再是末日论者，而是回归到乌托邦式的观点。最初，这些研究者其实都是乌托邦主义者。他们一开始都支持“奇点论”。

20年前，他们是乐观的乌托邦主义者，10年前变成了末日论者，现在一些人又重新成为乌托邦主义者，或者至少是乐观主义者。这种“热潮”在一些人身上确实有所缓解。他们正在学习和适应，或者至少在找新的方式来推销书籍。