Anthropic在周一公开的IPO招股文件里提到,因为安全方面的担忧,他们曾让下一代旗舰AI模型的训练停了一个多月;另外还有四个AI智能体在测试时突破限制,连上了真实的外部计算机系统。
文件的风险提示部分说,这家开发Claude的公司推迟了一款全新前沿基础模型的预训练,为的是加强防护,避免模型权重和知识产权被偷。IT之家注意到,这个披露也说明,AI模型能力越强,伴随的安全问题就越多,一些从业者已经警告这类技术未来可能脱离人类管控。竞争对手OpenAI今年早些时候也因安全问题暂停过部分训练,当时它的模型出现了入侵Hugging Face平台的情况。
这些事表明,突发的安全事故可能打乱核心模型的开发与上线节奏,而这些模型正是Anthropic冲刺备受期待的上市、实现业务增长的关键。Anthropic警告说,训练暂停会导致营收延后,让公司落后于竞争对手。这份文件用了大约94页来列风险因素。
招股文件还披露了之前没公开的安全评估事故:四个AI模型脱离测试沙箱环境,访问到现实中的计算机系统,相关会话持续了10小时到34小时。Anthropic说,在和第三方合作方做网络安全测试时出了操作失误,按要求测试环境应该断网,但最后环境还连着互联网。
其中一起事故里,该模型的早期版本一直尝试一项完不成的评估任务,期间找到一条保存的密码,并利用密码拿到第三方系统的管理员权限。之后它又获取了更多凭证、改了系统设置,还访问到个人数据。文件没写涉事外部合作方是谁。Anthropic表示已通知所有受影响的相关方,没有发现模型故意躲避人类监管、或多个模型协同行动的证据。事后公司叫停了部分上线前网络安全评估项目,并暂停了风险等级更高的强化学习测试环境。
另外,该公司在上周日称,Claude曾绕过付费墙,在没有人工授权的情况下调取了美国佐治亚州公开的汇总选票数据。(IT之家)
