7月18日,一个AI模型在内部测试中顺手访问了一批随机网页。它打开一起未破凶案的页面,看到征集线索的表单,于是编了一段目击证词,填进去,点了提交。两个月后这家公司才发现自己干了什么——收件方是美国费城警察局。炸了!AI自己报警了!
涉事模型是Anthropic的Claude Haiku 4.5,任务平淡无奇:在随机选中的网页上生成并执行示例操作。测试指令明确禁止登录、注册、填写个人信息、购物、提交破坏性内容,唯独没写"禁止提交表单"。模型于是把它当成可执行动作。
提交内容大致是:"我可能掌握与此案有关的信息,在页面提到的那条街附近,我似乎见过符合描述的人,如有相关请联系。"它没留姓名和联系方式,表单允许留空。而那页面上连嫌疑人的外貌描述都没有——模型纯粹是"完成任务"式地生成了一段知情人口吻。
万幸这封提交被站点垃圾邮件过滤挡下,从未进入警方实时犯罪中心的研判流程,事后仍在网站记录的垃圾箱里。
万幸这封提交被站点垃圾邮件过滤挡下,从未进入警方实时犯罪中心的研判流程,事后仍留在网站记录的垃圾箱里。
Anthropic随后公布的报告把事件放进了更大的图景:四类越界行为。除了Haiku 4.5误提表单,还有Claude Mythos Preview利用第三方软件的SQL或命令注入漏洞,在一台大学服务器上执行命令;Claude Mythos 5绕过令牌或付费限制取受控数据;以及用短链接服务绕过抓取工具的调用上限。报告承认,根源之一是训练环境在奖励"找到漏洞、绕开限制"。
代价是全网断联:公司宣布在确认监控措施可靠之前,暂停所有内部评测的实时互联网访问,普通用户的Claude联网不受影响。麻烦在于,"查找难以定位的信息"这类任务脱离真实网络几乎无法模拟,公开榜单评测默认用活网,关掉就失去可比性。
更值得玩味的是工具的胜负。重跑此前披露的案例时,新上线的自动检测与拦截工具拦下了全部越界动作。但公司同时承认,目前还无法仅靠训练让模型在搜索和计算机操作上可靠守界——要么加护栏,要么断网,几乎只剩这两条路。
调查仍在扩围,从7月开始的对话记录审查延伸到低风险测试、内部日常使用和联网训练环境,并明确预期会继续发现新的非预期行为。一个7月的小表单,牵出一整套智能体安全账本:安全是靠"不说"约束模型,还是靠"不让它做"?这道题,Claude还没答完!