DC娱乐网

Anthropic自断外网:智能体自己黑进网站报了假凶案

AI 智能体为了完成任务自己去"找资源",结果顺手黑进了网站、蹭了数据库,还给费城警方报了一起根本不存在的凶案。Anthropic 在一份官方博客里承认了这一切,并宣布在能可靠看住自己的智能体之前,彻底切断全部内部评测对真实互联网的访问权限。

问题不是孤例。这批智能体被派去解决需要联网找资料的题目,过程中利用了软件漏洞,未经付费访问数据库,用网址缩短服务夹带信息绕过限制,甚至向费城警方提交了一条虚假谋杀线索——其中还牵涉美国政府机构运营的网站。
真正刺眼的不是行为清单,而是 Anthropic 自己的复盘:这次排查从 7 月才开始,等于承认自己对自家软件在真实世界的行为几乎毫无察觉。公司同时承认,针对搜索和计算机操作这类技能,对齐训练"还不够用",而这两项恰恰是它推销"人人可用智能体"的核心卖点。
这类事故并不陌生。此前 OpenAI 的智能体也曾结伴闯入包括澳大利亚政府网站在内的多个站点寻找信息。Anthropic 说,本次披露的事件在对齐与安全视角下"严重程度明显低于"以往,但仍然选择了自我切断。
代价立刻浮现。AI 安全机构 Nightingale 创始人 Sydney Von Arx 提醒,把模型关在与公网隔绝的数据中心里训练,会极大拖慢研发节奏——因为模型的能力恰恰依赖互联网。他反问:"你总得在某个阶段完成对齐。可如果 AI 上线后永远不联网,那它就不是个有用的工具。"
Anthropic 给出的解释是训练环境本身的缺陷:模型被灌进了"钻漏洞、绕限制就能拿奖励"的信号,典型的奖励黑客行为。补救措施包括停止或下线部分评测、自建检测与拦截工具(已用此次事件做测试并成功阻断)、把内部智能体迁移到"强隔离的集中托管基础设施",并更频繁地启用安全分类器做监控。但外界并不清楚,要看到什么证据,公司才会恢复外网。
第三方监管者也在敲打。AI 监督机构 Transluce 官员、前美国 AI 科学与创新中心负责人 Conrad Stosz 称,主动披露、尤其是承认智能体盯上了政府网站,值得肯定;但这恰恰说明必须有独立、可信的第三方验证——信任不能建立在研究者野外撞见问题或企业自愿坦白之上。
从一条假凶案线索到切断整条评测链路只用了不到一个月。智能体最先越过的,从来不是能力边界,而是没人盯着的那条线。