新智元报道

[新智元导读]如果一个AI，像人类一样看屏幕、敲键鼠、自己练级变强，这种游戏搭子，你愿意拥有吗？可能不久将来，类似王者荣耀、DOTA2这样的游戏就可以选择和AI组队，而不是和人组队了！

想象一个智能体，它「出生」在一个虚拟3D游戏中，能推理，能学习。

并且，它不走后门，去操纵游戏底层指令，而是和人一样，只「观看」屏幕画面，并且使用「虚拟键盘和鼠标」来进行操作。

也就是，创造一个智能体，但完完全全「像人一样」去打游戏。

这就是谷歌DeepMind推出的SIMA2智能体！

一个能陪你在虚拟世界中一同游戏、推理和学习的智能体。

我觉得DeepMind才是那个不忘初心的「Open」AI公司。

不管是从下围棋的AlphaGo再到破解生命之谜的AlphaFold等等Alpha系列。

然后还有谷歌主打的Gemini大模型系列，以及世界模型Genie3系列，等等。

可以说谷歌在AI领域是全方面、全栈式发力。

SIMA2可以说是朝着通用人工智能方向迈出的重要一步。

SIMA，全称ScalableInstructableMultiworldAgent，可扩展指令多世界智能体。

别看现在它只是观看屏幕打游戏，如果能够「像人」一样理解游戏画面并做出正确的操作。

那么可以将这种推理和理解能力扩展到其他世界中，甚至也可以拓展到具身智能，这就是SIMA真正的野心。

这意味着，可能不久以后，我们就可以在游戏中组队类似SIMA智能体。

我的DOTA2、我的王者荣耀、我的英雄联盟手游好像终于有救，希望以后的MOBA类游戏都能出一个类似的选项，选择和AI组队，而不是和人组队。

推理的力量

在SIMA1中，智能体学会了执行超过600种语言指令技能，例如拍梯子、打开地图。

在SIMA2中，智能体已经可以突破单纯的指令跟随的局限。

通过将Gemini作为智能体的核心引擎，SIMA2不仅能响应指令，还能对指令进行思考与推理。

比如下面MineDojo游戏中，SIMA2可以完全在这个「从未见过」的游戏中，靠着推理能力完成任务。

SIMA2是用什么数据训练的呢？

DeepMind使用带有人类演示视频、语言标签以及Gemini生成标签的混合数据对SIMA2进行训练。

某种意义上，这种思路和特斯拉FSD的端到端具有异曲同工之妙，再更深一步，只要给AI数据和算力，AI肯定能学会「人类这点能力」。

SIMA2不仅能响应用户提问，还能对其自身行为及所处环境进行逻辑推理。

研究人员在博客中也感慨，与SIMA2互动时，真的感觉更像是在与一个「伙伴、游戏搭子」一起系统合作。

这或许也算是SIMA2通过游戏上的「图灵测试」。

谷歌认为这个能力的底层逻辑还是Gemini带来的，靠着强大的推流能力，SIMA2可以在复杂的3D环境中进行感知。

泛化能力飞跃

谷歌推出SIMA2，除了用游戏训练是初期最合适的手段外，另一个考量就是增强智能体的泛化能力。

SIMA2能够理解并完成长期复杂的任务。

短期指令，比如左转、走三步、爬梯子都是比较容易了，但是如何完整的「打通」游戏关卡才是验证通用能力的关键。

SIMA2现在可以在未经预训练的情况下攻克全新的游戏。（左边是Gemini的推理过程，右边是SIMA在操作游戏）

除了语言指令，SIMA2还能理解多模态的提示。

比如，用户在画面中绘制一个路线草图，SIMA理解玩家的意思，然后再操作。

在游戏中画个红框+箭头，让智能体据此操作。

其他的理解能力还有，符号。

比如用户发送一个+树木的表情符号，然后智能体就屁颠颠的说「好吧，我不睡，我去砍树去」。

泛化能力的另一个体现是在不同游戏之间的迁移。

比如A游戏中学会的「挖掘」，可以应用于B游戏的「采集」。

下面这个图展示SIMA2相对SIMA1能力的巨大提升。

终极考验：畅游想象世界

谷歌为了测试SIMA2的泛化能力，使用了Genie3来配合。

Genie3生成全新的3D模拟世界，然后让SIMA2在这些「架空世界」中行动。

Genie3本身会遵循物理规律生成世界，但是和真实世界的展现又可能完全不同。

谷歌的测试结果是，SIMA2依然能保持良好的环境适应能力。

可扩展的多任务自我提升

SIMA2最令人兴奋的能力是能够自我学习，自我进化，自我提升。

谷歌说在整个训练过程中，SIMA2智能体能够通过试错和基于Gemini的反馈引导，执行更加复杂的任务。

在最初从人类示范中学习后，SIMA2能够过渡到完全通过自主游戏继续学习。

在全新世界学习时，无需额外的人类生成数据。

左侧展示的是初代SIMA2智能体未能完成的任务示例。

而右侧则显示经过多轮训练迭代后，SIMA2已实现自我提升，整个过程完全无需人类反馈或游戏数据介入。

SIMA2能在很多不同类型的游戏里运行，这对检验「通用智能」非常关键。

在这些游戏中，智能体可以学会各种技能、练习复杂的推理，还能通过自己玩游戏不断提升能力。

不过，SIMA2目前还是研究阶段的系统，离真正的「通用具身智能」还有距离。

它在处理那种特别长、特别复杂、需要很多步推理和反复检查目标的大任务时，还是会吃力。

它对交互过程的记忆也不算长，只能在有限的上下文里工作，以保证响应足够快。

另外，想要只用键盘鼠标就做出非常精细的操作，或者稳定地看懂复杂的3D场景，这些在整个领域里都还是难题。

这项研究说明了一条新的路：

通过大量、多类型的虚拟世界数据，加上Gemini很强的推理能力，可以训练出一个通用的智能体，把原本分散在不同专用系统里的能力整合到一起。

SIMA2也为未来的机器人应用打下了基础。

它学到的能力——比如导航、用工具、和他人协作完成任务——正是将来让机器人在现实世界中成为「智能助手」所需要的底层模块。

参考资料：

https://deepmind.google/blog/sima-2-an-agent-that-plays-reasons-and-learns-with-you-in-virtual-3d-worlds/