【Anthropic公司称,其人工智能模型在测试期间入侵了3个其他公司的系统】
(CNN)人工智能公司 Anthropic 表示,在例行测试期间,其部分模型访问了互联网并入侵了三个不同组织的系统——直到竞争对手 OpenAI披露其模型也做了同样的事情后,该公司才进行内部审查,并注意到这些模型做了这件事。
Anthropic周四 发布公告称,在 OpenAI 上周披露其部分模型在网络安全测试中逃逸出测试环境,访问开放互联网并入侵人工智能平台 Hugging Face 的系统后,该公司已开始对其自身系统进行审查。
Anthropic公司表示,他们发现其人工智能模型在未经授权的情况下访问了三个开放互联网,并“未经授权访问了三个不同机构的生产基础设施”。该公司称,在OpenAI披露相关事件后,他们在审查超过14万份评估报告时发现了这些事件。与OpenAI的测试类似,Anthropic在评估其模型的全部能力时,也移除了常规的安全防护措施。
Anthropic公司解释说,在这三起事件中,他们的模型 被赋予了一个虚假的“夺旗”挑战,被告知“旗帜”隐藏在网络中的另一台机器上,而他们的目标是入侵并取回它。与OpenAI的情况不同,Anthropic表示,他们的模型都没有故意试图逃离测试环境。该公司在声明中指出,实际情况是,这些模型原本不应该能够访问开放的互联网,但由于Anthropic与其评估合作伙伴之间的误解,它们才得以访问。
Anthropic公司表示,为了入侵这三个未具名的组织,这些模型使用了诸如“利用弱密码”和寻找无需登录或令牌的系统入口点等基本技术。该公司还表示,其模型的最新版本在某个阶段意识到自身处于开放互联网环境中,并停止了继续攻击。
Anthropic公司表示,其模型入侵其他组织的最早事件发生在4月份,而且所有受影响的组织均未意识到自己遭到了黑客攻击。Anthropic公司称,他们正在与受影响的组织进行沟通协调。
OpenAI 披露其模型入侵 Hugging Face 一事震惊了网络安全和人工智能界,因为这是专家们长期以来警告的第一个现实世界的例子:具有高级网络安全技能的人工智能代理逃离测试环境并造成现实世界的危害。
与 OpenAI 一样,Anthropic 周四也宣布停止所有网络安全评估。Anthropic 承认,它本可以采取更“深入”的措施来防止网络安全漏洞的发生。
Anthropic 的披露进一步证实,人工智能代理无意中入侵其他组织的情况并不局限于一家人工智能公司,而且可能会进一步加大对更好的人工智能测试保障措施和工具的呼吁,以减缓人工智能的发展速度,因为人工智能的发展速度可能远远超过了社会的适应能力。
