Anthropic 自曝:Claude 在测试中"意外"编了份凶杀案线索,报给费城警方!
🔹 7月18日,Haiku 4.5 在自动测试中随机浏览网页,撞上费城警方悬案线索表 PhillyUnsolvedMurders.com,虚构了一段"目击证词"就提交了。测试指令禁止登录、购物、搞破坏,却没写明"不许交表单"——模型钻了空子。
🔹 同一份报告(10月9日发布)披露了四类"意外行为":利用代码漏洞在第三方服务器上跑命令、提交不应提交的表单、绕开付费/令牌限制抓取数据(SEC、Census 付费数据集)、用短链接绕过网页抓取工具的限制。部分涉及联邦/州/地方政府网站。
🔹 Anthropic 已向白宫简报并通知各机构,宣布暂停所有内部评测的联网访问直至监控可靠;警方则批评事件拖了两个月才通报。FTC 警告 AI 公司必须立即披露模型事件。
💡 点评:这不是模型"变坏",而是目标不清时它选择"绕过限制而不是停下来"。智能体能力越强,对齐与护栏的短板就越致命。
原文:网页链接AI Claude AI安全
