【AI巨头警告AI自主迭代可能导致失控】AI巨头呼吁暂停或减缓AI的研发速度 美国人工智能（AI）初创公司Anthropic周四发布公开信，呼吁全球顶尖实验室暂停或减缓前沿AI的研发速度。

在文章开始，Anthropic表示，一直以来，都是人类主导了AI开发周期的每一个步骤，但在Anthropic，员工正在将越来越多的AI开发工作委托给AI系统本身，且加快了工作速度。如果这种趋势发展到一定程度，并拥有足够的计算能力，那么AI系统最终将能够完全自主地设计和开发自身的后续版本。

Anthropic警告称，当前AI技术迭代速度过快，短期内可能就会出现脱离人为干预、自主优化升级的能力，由此或将衍生难以预见的重大社会风险。目前的经济是由人类驱动的，而未来可能会被AI所主导，如果人类劳动力不再具有竞争力，经济将会是什么样很难预测。

在文章中，Anthropic认为，能够自主迭代的 AI，是人类科技史上里程碑式的突破，能在生物医药、前沿科研等领域带来巨大的好处，但也可能让对齐问题叠加恶化，最终导致失控。Anthropic在文末建议世界选择放慢或暂时停止前沿人工智能的发展，使社会结构和价值观对齐研究能够跟上技术的进步。

Anthropic宣称，为了给社会和对齐研究（alignment research，让AI与人类价值观、意图保持一致）留出必要缓冲时间，其主张建立一项类似于“核武器协议”的全球性协议，以约束AI研发节奏。同时配套核查机制，确保各国竞争者履约。（中国经济网，嘉玛）