只用一张RTX4090显卡,开发者用视频生成模拟《超级马里奥兄弟》

深科技利大千 2024-09-07 20:56:39
近期,AI 技术在游戏开发领域取得了令人瞩目的进展。 继谷歌的 GameNGen AI 模型展示了使用图像扩散技术生成可玩版《毁灭战士》(Doom)的能力后,一个新研究项目又将目光投向了另一款经典游戏——任天堂的《超级马里奥兄弟》(Super Mario Bros)。 这个项目展示了 AI 如何通过视频生成技术来模拟这款 1985 年发行的经典游戏,为未来的游戏开发开辟了新的可能性。 公开资料显示,MarioVGG 项目主要由 GitHub 用户欧尼·周(Ernie Chew)和布瑞恩·林(Brian Lim)管理,其相关论文由加密货币相关的 AI 公司 Virtuals Protocol 发表。 该项目主要利用机器学习技术,通过研究游戏视频和输入数据,来推断游戏的物理规则和游戏动态。 研究人员使用了一个包含 280 个游戏关卡的公开数据集,游戏画面超过 737000 帧。 为了简化游戏情况,他们只关注两种潜在输入:向右跑和向右跑并跳跃。经过约 48 小时的训练(使用单块 RTX 4090 显卡),模型就能够从静态的初始游戏图像和文本输入生成新的视频帧序列。 MarioVGG 采用了文本到视频生成的方法来重现《超级马里奥兄弟》。模型通过学习游戏画面,能够根据玩家的文本输入(“跑”或“跳”)生成相应的游戏画面序列。 具体来说,模型只需要接收一个初始的游戏画面帧和所需动作的文本描述(例如“跳跃”),然后学习生成一系列可视化描述所需动作的帧。 为了提高效率,研究人员将输出帧的分辨率从原始 NES(注:Nintendo Entertainment System,是任天堂生产的第一代家用游戏机)的 256×240 降低到了 64×48 或 128×96。 此外,他们将 35 帧的视频时间压缩为仅 7 个生成帧,这些帧以均匀的间隔分布,从而创造出比实际游戏画质更粗糙的游戏视频。 尽管采用了这些方法,MarioVGG 模型仍然面临着接近实时视频生成的挑战。研究人员只用了一张 RTX 4090 显卡,需要大约 6 秒钟才能生成 6 帧视频序列,视频长度仅仅超过半秒,这还是在极其有限的帧率下。 研究人员承认这“对于交互式视频游戏来说既不实用也不友好”,但他们希望未来的优化可以改善这一速率。 尽管存在上述限制,MarioVGG 仍然展现出了一些令人印象深刻的特性。 首先,模型能够纯粹从训练数据中学习游戏的物理规则,包括马里奥从悬崖边跌落时的重力效果,以及在遇到障碍物时停止前进。 其次,虽然 MarioVGG 主要关注模拟马里奥的动作,但它也能有效地为马里奥生成新的障碍物,这些障碍物“与游戏的图形语言相一致”。 此外,MarioVGG 能够生成独特的马里奥关卡,只有第一帧输入来自真实游戏状态。 然而,MarioVGG 也面临着一些显著的挑战,比如研究人员观察到,输入动作文本并不总是被模型所遵守。 有时还会出现明显的视觉问题,如马里奥有时会穿过障碍物和敌人、颜色闪烁、在帧之间缩小/增大,或在多个帧中完全消失后又重新出现。 模型并不懂得游戏逻辑,即使在马里奥死掉之后,它还是会继续渲染视频帧,而不是回到最后的检查点。此外,关卡和物体的生成也不可控,只能通过程序化生成。 MarioVGG 项目为未来游戏开发开辟了新的可能性,展示了 AI 如何通过学习视频数据来理解和重现复杂的游戏机制。 研究人员希望这代表着“产生和展示可靠和可控的视频游戏生成器”的第一步,甚至可能在未来“完全使用视频生成模型取代游戏开发和游戏引擎”。 然而,要实现这一愿景,还需要解决诸如实时性能、画面质量、游戏逻辑一致性等一系列挑战。例如,如何在生成的游戏中决定终止状态,这仍然是一个开放的研究问题。 尽管如此,考虑到 MarioVGG 项目仅使用了相对较小的训练数据集和单个消费级图形处理器(GPU,Graphics Processing Unit),其取得的成果已经相当令人印象深刻。 Virtual Protocols 公司在推特上乐观地表示:“无限交互世界的时代已经到来。” 总的来说,虽然视频生成制作游戏的方法还无法完全替代传统的游戏开发方法,但它为游戏产业注入了新的活力,让我们得以一窥 AI 驱动的游戏未来。 这些新项目为游戏设计和开发提供了新的思路,展示了 AI 如何通过学习视频数据来理解和重现复杂的游戏机制。 未来,我们可能会看到,随着技术的发展有望出现更多 AI 辅助的游戏开发工具,甚至是完全由 AI 生成的游戏世界。 参考资料: https://arstechnica.com/ai/2024/09/new-ai-model-learns-how-to-simulate-super-mario-bros-from-video-footage/ https://www.pcmag.com/news/this-ai-model-can-create-a-super-mario-game-using-a-text-to-video-generator 运营/排版:何晨龙
0 阅读:0

深科技利大千

简介:感谢大家的关注