10月28日消息,据外电报道,谷歌DeepMind于周二发布全新世界模型Genie4,开启研究预览版本。这款最新模型能够生成目前拟真度最高、可交互的虚拟世界,用户可以在模拟运行的过程中输入提示词,实时修改场景。模型还能同步生成和虚拟世界匹配的实时音频,包含背景音乐、环境音以及交互式对话。
就在Genie4发布的数月前,AI视频初创公司Runway推出第二款世界模型GWMWorlds2。该模型支持交互游玩,可响应用户操作并同步生成音频。与此同时,世界模型赛道开始迎来行业整合:李飞飞创立的WorldLabs将被AMD收购;亚马逊正洽谈收购Decart;Rivian刚刚收购ThirdDimension,自研仿真工具用于自动驾驶测试。
推出Genie4,是谷歌在竞争激烈的赛道中巩固领先地位的最新动作。
一年多前,谷歌就以研究预览形式上线了前代模型Genie3。相比前代,Genie4画面拟真度大幅提升,新增音频能力,还支持自由编辑:比如实时切换天气、调整镜头角度,或是在场景里新增人物、物品。它最长可以维持两分钟连贯统一的场景画面,时长是Genie3的两倍;物理仿真效果更强,虚拟人物也更加拟人。
谷歌大模型Gemini和Genie4实现了更深层的联动:Gemini充当“导演”,负责规划步骤、校验画面,Genie4则负责生成视觉内容。在一项和GeminiRobotics相关的研究实验中,Gemini4Argon模型把任务拆解成分步指令,交由Genie4实时仿真。该实验证明,未来可以先在虚拟仿真环境里测试机器人方案,再落地到现实世界。
谷歌研究总监特贾斯・库尔卡尼在简报会上表示:“未来我们会越来越多地看到这类混合式世界模型:Gemini负责编写代码、生成文本,Genie实时读取这些指令,在不同抽象层级上仿真现实世界。”
和其他世界模型类似,它的商业化方向包括游戏、交互式教学以及机器人研发。交互式学习的一个设想场景:用户进入一幅描绘历史事件的画作当中,和画中人物对话,了解这段历史。
而首批受邀测试谷歌前沿产品的“可信测试用户”,挖掘出了一个全新潜在用途:电影前期样片快速原型制作。
谷歌DeepMind工程师迭戈・里瓦斯在发布会中提到:“实时渲染的价值,在需要保持创作连贯性的场景里尤为突出。比如创意构思阶段、分镜脚本阶段——所有需要快速迸发创意的环节,它都能派上用场。”
谷歌另有AI视频生成模型Veo,可以根据文本、图片或视频指令生成高清短片,并自动配上同步音频,目前已经受到不少影视创作者欢迎。
里瓦斯补充说,未来用户可以依托多模态大模型GeminiOmni(支持根据图片、音频、文字生成视频),把这些仿真原型转化为正式的创作素材,不过这套完整能力距离落地还有一段时间。
在整场简报中,里瓦斯反复强调Genie4仍处在早期研发阶段,最终完整产品形态还没有确定。团队也坦言模型尚存短板:仿真时间越长,画面细节、物体就越容易出现畸变偏移;同时,如何保证音频准确、场景内文字清晰可读,依旧是待攻克的难题。
目前Genie4仅面向可信测试者开放研究预览。未来几周内,该模型将逐步开放给GoogleAIUltra订阅用户(在ProjectGenie工具内使用,ProjectGenie是谷歌用于图文生成交互式世界的AI工具),以及GeminiAPI、GoogleAIStudio的早期合作开发者。