当 AI 开始参与研发下一代 AI，技术进步的速度本身，也可能发生变化。

论文《What if automating AI R&D triggers an intelligence explosion？》讨论 AI 研发自动化是否可能引发“智能爆炸”。论文重点分析一种软件驱动的反馈循环：更强的 AI 承担更多研发工作，这些工作产生改进，改进后的系统再投入研发。

1、关键在于改进能否反馈到研发过程

可以把它想成一支会改进自身工具的研发团队。

团队先做出更好用的工具，工具让后续实验更快，实验又帮助团队找到下一项改进。如果每一轮节省下来的资源都能继续投入有效研究，就可能产生累积效果。

但这里有一个容易混淆的地方：让 AI 多写一些实验代码，与让整个研究过程持续产出有效突破，之间还隔着选题、实验设计、结果判断和复现等环节。

讨论这件事，应该看这些环节怎样连接，而不能只看代码生成量。

2、有反馈循环，也不代表速度必然失控

论文列出了几类制约：研究收益递减、算力和数据限制、难以自动化的任务，以及耗时较长的实验与训练过程。

这几项限制可以用一个工程问题来理解：即使设计实验的速度提高很多，如果设备、预算或者验证过程没有同步加快，整体进度仍可能卡在后面。

类似地，增加更多 AI 研究实例，也需要考虑它们是否在重复尝试、是否能够共享有效结果，以及成果能否在更大规模上成立。

因此，评价研发自动化时，“做了多少次尝试”和“带来了多少可靠进展”应该分开统计。

3、我更关注哪些信号

沿着这个思路，我会观察三件事。

第一，AI 能否独立完成越来越长的研究任务，包括处理失败，而不只是提出一个好点子。

第二，成果能否经过独立复核，在不同条件下仍然成立。一次漂亮的演示与可重复使用的研究能力，有不同的证据要求。

第三，人是否仍能理解关键决策，追溯实验过程，并在出现异常时暂停和修正。研发越快，记录与验证越需要跟得上。

论文还建议提高对 AI 研发自动化的可见性，提前准备约束与应对机制。值得思考的是，当执行和迭代越来越快时，组织是否同步建设了审查、追责与纠错能力。

论文：casp.ac/reports/intelligence-explosion

HOW I AI 程序员