在大多数人的认知里,世界模型还停留在 “输入图片,等待几十秒输出一段视频” 的阶段。生成、等待、预览、反复调整机位,整个过程是割裂的,没有即时反馈,更谈不上沉浸式漫游。李飞飞创办的 World Labs,在 11 月 5 日放出 Frameboy 研究预览,用一个复古掌机交互外壳,把两个月前发布的 Atlas 世界模型推向实时交互,最高 15 帧每秒的云端推流,打开浏览器就能直接进去探索 AI 生成的三维空间。
很多人会误以为 Frameboy 是本地掌机硬件。它本质是一套面向浏览器的交互 Demo,掌机样式只是界面隐喻,摇杆、十字按键全部映射相机控制指令。用户操控镜头向前移动、转向、抬头低头,云端优化版 Atlas 模型会根据实时相机位姿,持续生成符合空间一致性的全新视角画面,源源不断把画面串流到浏览器,不再是一次性渲染一段固定视频。最高 15fps 的指标,看着远低于传统游戏 60 帧标准,但它的底层逻辑完全不一样:传统游戏是提前建好三维模型、贴图、关卡,GPU 只负责光栅化渲染;而 Frameboy 里的每一张新画面,都是 AI 在即时脑补原本不存在的视野,从单张锚定图片向外推演整个空间的结构、光影、遮挡关系。
支撑这套体验的 Atlas,和普通文生视频模型有本质区别。它是面向空间智能的自回归世界模型,核心设计是空间上下文,而不是文本上下文。文本、图像、深度、相机位姿会被统一放进同一个空间表征里,生成新帧的时候,模型会记住整个场景里物体的相对位置,保证镜头转动时不会出现物体漂移、几何崩坏、光影错乱这类生成视频常见的问题。它既可以拿一张静态照片作为起点,凭空延伸出照片背后看不到的房间、街道;也可以基于一组实拍多视角照片,重建真实地标,允许用户自由穿梭。这次用于 Frameboy 的不是完整版 Atlas,是团队专门裁剪、推理链路深度重构的轻量化变体,优先压缩单帧推理开销,保住新视角合成的几何一致性,以此拿到交互式帧率。
这套实时能力,已经接入 World Labs 内测网页工具 Viewfinder。创作者可以先用 Atlas 逐帧搭建场景、调整机位,一点点搭建自己想要的虚拟环境;搭建完成之后,直接唤起 Frameboy 的实时漫游层,像拿着一台虚拟摄像机在场景里自由勘探。这个工作流对影视前置勘景、游戏概念关卡、建筑可视化、机器人仿真都有很强的实用价值。过去设计师想验证镜头运镜,必须先花大量时间在 Blender、UE 里搭完整场景,现在只需要几张参考图,就能快速生成可漫游空间,低成本验证镜头语言,大幅压缩前期创意试错成本。
这项成果,也是 AMD 官宣 82 亿美元收购 World Labs 之后,团队交出的第一个重磅公开更新。外界当初讨论这笔收购时,大多聚焦于空间智能、机器人仿真的长期价值,而 Frameboy 把世界模型从实验室论文,变成普通用户点开网页就能摸到的产品形态。AMD 的硬件资源,也会持续为这套推理管线做底层适配,目标就是慢慢降低单帧生成成本,往上拉高帧率、往下推动未来向端侧设备迁移。
当然它的短板同样清晰,现阶段所有画面生成全部依赖云端高性能 GPU,算力成本偏高,还没办法跑在普通电脑、掌机本地。15fps 的帧率,快速甩动镜头的时候,依然能明显感受到延迟和画面抖动,距离流畅游戏体验还有很长距离。同时它的空间推演能力依然有边界,复杂遮挡、精细物理交互、动态物体的稳定仿真,都是接下来要攻克的难点。对比去年 World Labs 发布的轻量 RTFM 模型,Atlas 规模更大、场景重建能力更强,但对算力的胃口也更高,Frameboy 相当于在能力和实时性之间做了一次取舍平衡。
整个行业正在迎来一个关键分叉点。过去大模型竞争拼的是文字、对话、静态图片;接下来世界模型比拼的核心,是能不能稳定、实时地 “推演空间”。OpenAI、谷歌、World Labs 都在沿着不同路线冲刺,但 Frameboy 给出了一条很直观的样本:世界模型不只是用来生成成片素材,它本身可以成为一种新的渲染器。不需要预先建模、不需要烘焙贴图,只要一个锚定画面,AI 就是渲染管线本身。
放在具身智能、人形机器人的赛道来看,价值会更加突出。机器人想要在陌生环境里自主行走、避障、抓取,核心就是脑子里要有一个可以实时推演的世界模型。Frameboy 这种相机可控、保持几何一致的实时生成能力,正是机器人仿真环境所需要的底层能力。未来不用搭建昂贵的数字孪生,一张实景照片,就能生成一个可以用来训练机器人策略的仿真世界。
但我们也不用过度神化这一版 Demo。它依然属于研究预览,不是正式商用产品,稳定性、成本、帧率都还有巨大优化空间。它最大的意义,是验证了一件事:自回归世界模型,能够走出 “生成 - 等待” 的静态模式,变成一种可交互、可漫游的媒介。
你觉得这种 AI 实时空间漫游,最先落地的会是游戏创意工具,还是机器人仿真赛道?
#WorldLabs #李飞飞 #Atlas #世界模型 #空间智能