DeepMind 的 Demis Hassabis 刚刚发布了一篇长文，深度阐述了他对高级人工智能系统治理的思考，特将全文翻译如下：

---

前沿 AI 治理框架：一个新时代正在开启

人类正站在一个历史转折点上。通用人工智能（AGI），也就是具备人脑全部认知能力的系统，很可能在未来几年内成为现实。

几十年后回望今天，我们或许会发现，自己当时已经站在技术奇点的山脚下 —— 一个属于全人类的新时代正在由此开启。

我一生都在从事 AGI 研究，因为我始终深信：只要以负责任的方式开发和应用，AGI 就可能成为人类发明史上最具变革意义、也最能增进福祉的技术之一。

它不是一般意义上的技术突破，即便互联网和移动通信这类深刻改变世界的创新，也不足以与之类比。AGI 更接近电和火的发现。说到底，我们找到了一种让沙子拥有思考能力的方法。是的，这近乎奇迹。

这项技术带来的影响将前所未有：其规模或许相当于十场工业革命，推进速度也可能快上十倍。它有望帮助人类破解一系列重大难题，包括加快药物发现、开发新的清洁能源，以及创造新型先进材料。

我们甚至可能走到这样一个阶段：资源不再构成人类进步的主要制约，一个高度富足的新时代由此成为可能。

前沿 AI 带来的挑战

AI 已经开始在现实世界产生实际效益。但要充分兑现其巨大潜力，我们必须慎重度过眼前这个关键阶段。随着 AGI 日益临近，可能随之出现的风险需要我们立即着手应对。

前沿模型给网络安全带来的挑战已经显现。随着模型能力继续提升，核安全和生物安全领域的风险也可能很快出现。再往前看，系统的自主行动能力将越来越强，并可能具备递归式自我改进能力。

要确保人类始终保有控制权，就必须建立可靠的防护机制。与此同时，还有一些目前尚不明确的问题，也需要在其逐渐显现的过程中持续识别和处理。

我始终相信，人类的智慧和创造力足以解决任何问题。我也相信，只要共同努力，AI 相关的技术风险并非无法控制。

但前提是，我们必须为自己留出足够的时间和空间，把接下来这个关键步骤走对。无论是 AI 行业还是整个社会，目前都没有做到这一点。

我们正置身于一场极其激烈、涉及多个层面的商业与地缘政治竞赛。竞争推动技术快速进步，也让 AI 的巨大价值更早显现。

但与此同时，前沿能力的增长速度已经超过了我们理解这项技术的速度。没有人能够确定接下来会发生什么，专家之间同样分歧明显。

当不确定性如此之大，而后果又如此重大时，最合理的选择是审慎乐观、稳步推进。这就需要一套既鼓励创新，又能促使开发者重视责任与安全的公共政策。还需要围绕关键安全问题加强国际合作，并认真考虑如何部署AI，才能使整个社会从中受益。

建立前沿 AI 标准机构

AI 发展如此迅速，前沿模型的能力测试也需要一套新的制度：既要动态调整、灵活应变，又要足够严谨。

凭借自身的经济实力和技术基础，美国具备率先建立这一制度框架的条件。一种可行的方案是，借鉴美国金融业监管局（FINRA）的组织模式，成立一个新的标准机构。

它可以采取联邦政府监督下的公私合作形式，也可以设为行业自律组织；其董事会应当包括独立的顶尖技术专家和开源社区代表。要吸引世界一流的技术人才，并获得大规模测试所需的算力，这一机构需要充足的资金，主要资金可能仍需由行业提供。

标准机构的职责是制定模型评估规程，并与相关联邦机构及美国国家实验室合作，在涉及国家安全的领域开展测试。

它应当制定一套能力评测基准，并随着 AI 能力的发展定期更新。模型在这些基准测试中达到规定门槛，才会被划为“前沿级模型”（Frontier-class model）；拥有此类“前沿模型”的机构，则被认定为“前沿实验室”（Frontier Lab）。

前沿实验室应当采用一系列最佳实践，包括发布载有模型技术信息的模型卡，加强内部网络安全，对关键岗位人员进行审查，并为模型安全和防护研究投入足够资源。

在制度建立初期，前沿实验室可以自愿在模型发布前将其提交给标准机构审查，提前时间最长为30天。待评估机制证明有效、可靠后，就可以迅速将其制度化。

届时，前沿模型必须通过评估，才能在美国市场部署。模型发布后若发现重大漏洞，实验室也应与标准机构合作，及时采取补救措施。

评估必须建立在严格的科学测试之上，重点考察模型在网络安全、生物威胁及其他高风险领域的能力。针对具有自主行动能力的 AI，还应专门测试其是否试图绕过安全防线、是否出现欺骗迹象。

同时，评估也应推动最佳实践落地，例如为 AI 生成的图像添加数字水印，以及让模型以人类可读的形式输出推理过程，以帮助研究人员理解其判断依据。

评估体系需要定期更新，初期可以每季度调整一次。已经过时，或已无法有效区分模型能力的测试基准，应当及时停用并替换。

制度起步阶段，评估标准可以在征求前沿实验室意见后制定。但从长远看，标准机构必须建立独立的技术能力，在实验室不知情的情况下自行设计测试，避免模型针对公开基准进行训练而产生过拟合。

标准机构还可以与美国政府合作，培育由第三方审计机构组成的专业生态，协助开展模型评估，并参与新基准和新测试方法的开发。

这套方案的优势，在于它以技术判断为基础，既支持创新，又促使相关机构采取负责任的行动。它能够跟上 AI 能力快速演进的节奏，并在重大风险逐渐明确后及时调整。

如果形势的严重程度要求采取更强措施，约束也可以逐步加码，必要时甚至可以协调各前沿实验室放慢研发速度。

“前沿实验室”应当成为一项具有较高公信力和行业声望的资格，但不应限定机构类型。任何组织，只要开发出的模型达到规定标准，都可以获得这一认定。

制度约束的是模型能力，而不是模型来自哪个国家，也不取决于模型是开源还是闭源。未达到前沿级别的模型 —— 例如初创企业或学术机构开发的普通模型，则不必进入这一评估流程。

由美国发起的这一机制，可以成为建立前沿 AI 国际共同标准的起点。AI 最终将影响整个世界。

理想的结果是，这套框架能够推动国际社会就最严重风险的治理方式达成共识，同时确保所有人都有机会使用 AI，并从中受益。

未来仍待我们书写

AGI 可能成为推动科学和医学发展的终极工具，并带来大幅的生产率提升和经济增长。

要实现这种可能，首先必须打好技术基础：围绕一套全球共享的框架展开协作，以最严格的科学方法开展研究，并汇集最优秀的人才，共同解决眼前的难题。

即使这些艰巨的技术问题得到解决，我们仍将面对更加复杂的经济和哲学问题。

在一个资源不再稀缺的世界，什么样的新经济模式才能让每个人都过上富足的生活？

我们希望遵循怎样的价值观？人生的意义与目标又将是什么？

甚至，人之所以为人的基本处境，会不会也随之改变？

这些问题显然不能、也不应该只由技术人员回答。社会各界都必须参与进来，共同界定这个新篇章的方向。

AI 既令人振奋，也充满不确定性。这两种感受都有充分理由。但未来尚未写定。在 AGI 到来前这段宝贵的时间里，我们必须主动塑造这项技术，使其服务于全人类的福祉。

我们今天共同作出的选择，将决定文明下一阶段如何展开。

如果能够以安全、稳妥的方式将 AGI 带入现实世界，人类就可能迎来科学发现和社会进步的新黄金时代，走向一个更加繁荣的未来。