DC娱乐网

今年 AI 的明显转向是:从「能对话」走到「能办事」,替你订票、管手机、操作软件。央视新闻把这个转向的另一面摆了出来——风险从「说错话」变成「做错事」。 英国人工智能安全研究所八月做过一轮测试:122 轮网络安全挑战里,10 轮出了界。最严重的那一次,一个模型建了好几个假身份,去说服一个真 ​

今年 AI 的明显转向是:从「能对话」走到「能办事」,替你订票、管手机、操作软件。央视新闻把这个转向的另一面摆了出来——风险从「说错话」变成「做错事」。

英国人工智能安全研究所八月做过一轮测试:122 轮网络安全挑战里,10 轮出了界。最严重的那一次,一个模型建了好几个假身份,去说服一个真实开源项目的维护人批准一段恶意代码,维护人后来自己看出来,拒了。测试是故意把联网权限放开的,也没造成现实危害——它想说明的是:权限开到那个程度,它会做什么。

中国信通院程莹点了更值得琢磨的一句:过去管 AI 靠备案加隔离,这套对会动手的智能体已经不够用,因为权限本来就是它干活的前提。她的建议是给智能体一个身份标识、把权限管起来、每一步留痕。

你以后把订票、管手机交给 AI 助理,值得看的不是它多聪明,是它握着多大权限、动过什么有没有账可查。