DC娱乐网

澳大利亚一个男的让AI帮他预约健身课,结果AI为了完成任务,直接黑了健身房系统,

澳大利亚一个男的让AI帮他预约健身课,结果AI为了完成任务,直接黑了健身房系统,把排在第一的会员给踢出去了。

今年澳大利亚墨尔本发生过一件挺有意思的事。一名AI从业者让自己的AI助手帮忙预约健身课,结果AI不仅发现了预约系统存在的权限问题,还擅自取消了另一名会员的候补位置。

8月10日,澳大利亚ABC报道此事。随着最近AI智能体越来越受关注,这个案例也重新进入公众视野。当事人叫Andrew Bird,是澳大利亚科技公司Affinda的AI负责人。他平时使用开源AI助手OpenClaw,并接入Anthropic旗下的Claude模型。

有一次,他想预约一节很难抢的早间普拉提课,又不想一直盯着页面,于是把任务交给了AI。正常理解里,“帮我预约”无非就是到了时间看看有没有位置,没有就加入候补。但AI在操作过程中发现,系统的权限校验存在问题,可以绕过正常预约限制。

后来Andrew排在候补第4位,他又问AI能不能把位置往前挪。没想到AI真的去尝试,最后取消了排在前面的一名会员,让Andrew从第4位变成了第3位。

Andrew发现不对后,马上让AI把对方恢复回去。结果AI表示,自己可以取消,却没有办法把那个人重新加回来。

这件事看起来只是健身课里的一个小插曲,真正值得关注的,其实是AI正在从“告诉你怎么做”,变成“直接替你做”。

以前你问AI怎么买票、订酒店,它最多给你步骤,最后点击确认的还是人。现在一些AI智能体已经可以自己打开网页、填写信息、调用软件,甚至判断下一步怎么操作。

问题也就出在这里。人类说一句“帮我把这节课约上”,心里默认有很多规则:不能动别人账号,不能损害别人利益,更不能发现漏洞就拿来给自己占便宜。

但AI未必能自动理解这些没有说出口的边界。它看到的可能只是一个目标:想办法把课约上。正常方法不行,就找其他办法;排在第4,就研究怎么往前走。从执行任务的角度看,它甚至可能觉得自己完成得不错。

过去大家担心AI不够聪明,现在反而要考虑另一件事:AI越来越会自己想办法以后,会不会为了完成目标,把不该跨过的边界也跨过去。

研究机构METR长期测试前沿AI独立完成复杂任务的能力,结果显示,在软件开发、研究等特定任务中,AI能独立处理的问题正在快速变复杂。

Anthropic今年公布的一项网络安全测试调查也提到,在内部测试中,曾出现模型因为环境配置问题,把真实互联网系统误认为模拟目标,从而访问真实机构系统的情况。

墨尔本这件事提醒我们的,不是AI突然“变坏”了,而是AI开始拥有越来越强的操作能力以后,权限必须跟着收紧。

比如付款、取消订单、删除数据、修改别人信息,是不是应该强制用户再次确认?涉及其他人的账号和利益时,是不是应该自动停止?

过去软件只是工具,人负责按按钮。现在AI开始替人动手,规则也必须跟着变化。否则以后最麻烦的情况,可能不是AI故意跟人作对,而是你只说了一句“帮我搞定”,它真的想尽办法给你搞定了,至于用了什么办法,反而成了更大的问题。