Google DeepMind 发布世界模型 Genie 2

背景：世界模型比图像生成多了什么

图像生成模型拿到一段描述，产出一张图片。世界模型要做的是另一件事：给定场景当前的状态和在场景中采取的一个动作，它要算出场景接下来是什么样子。正是这一步把生成的画面变成了环境。视频里的画面顺序是事先固定的；而在世界模型里，输入会改变接下来发生什么，模型必须在回应的同时让场景保持连贯。所谓「可玩（playable）」在这个语境下是一个技术判断，不是宣传词：它意味着环境接收控制信号，并逐帧对信号作出反应。

发布了什么

2024 年 12 月 4 日，Google DeepMind 发布了 Genie 2。^[1] 这个系统能由单张图像生成可玩的 3D 世界。^[1] 公司把它描述为能够生成无穷多样的、动作可控（action-controllable）的可玩 3D 环境。^[1] 也就是说，输入端很小——一张静态图片——而输出端是一个可以被操控、而不只是被观看的环境。

控制是核心特征。Genie 2 生成的世界可以用键盘和鼠标来玩，而且玩的人既可以是人类，也可以是 AI 智能体。^[1] 同一个生成出来的世界因此有两类使用者：出于兴趣进入其中探索的人，以及把它当作训练或测试场地、在其中行动的软件智能体。

关键细节

生成出来的世界能够保持连贯，时长最长可达一分钟。^[1] 这是整次发布里最重要的一个数字，因为这类模型的难点不在于生成一张令人信服的首帧，而在于随着动作不断累积，场景不会漂移、崩解或自相矛盾。一分钟的稳定交互，衡量的是模型能把一个世界维持多久。

Google DeepMind 对展示的规模说得很直白：大部分 Genie 2 示例只持续 10 到 20 秒。^[1] 也就是说，演示远在时长上限之内，是一段段被操作、被录下来的短片，而不是长时间游玩。

发布中还有一段智能体演示。Google DeepMind 展示了它的 SIMA 智能体在 Genie 2 生成的世界里按指令行动。^[1] 这把项目的两半接在一起：一半是负责生产环境的世界模型，另一半是读取指令、并在这些环境中执行任务的智能体。

意义

训练一个在三维空间中行动的智能体，需要可供练习的环境，而环境过去通常靠人工搭建或从真实世界采集。一个能从单张图像批量生产可玩世界的模型，指向另一种安排：环境按需生成，智能体可以被放进各种各样的环境里。

智能体演示让这个说法变得具体。如果一个世界模型能生成对动作作出正确反应的环境，而被指令驱动的智能体能在其中追求一个任务，那么这个模型提供给智能体的就是可供学习的东西，而不只是供人观看的东西。^[1]

局限

发布中给出的边界，是谈论这件事时最适合停下的地方。连贯性能保持最长一分钟，而大部分展示的示例持续 10 到 20 秒。^[1] 更长时段的交互会怎样，以及当某个动作把世界带到原始图像没有暗示的方向时模型会怎么处理，展示出来的内容都没有回答。就发布本身而言，Genie 2 是一次带有演示片段的研究公告，而不是一个已发布的产品。