Genie

是什么

Genie 是 Google DeepMind 的生成式世界模型（world model），论文《Genie: Generative Interactive Environments》于 2024 年 2 月 23 日发布到 arXiv。^[1] 所谓世界模型，笼统地说就是让模型学会「环境下一步会变成什么样」：给定当前画面和某个动作，预测下一帧。Genie 的特殊之处在于它把这件事做成了可以玩的东西——它生成的画面不是一段固定视频，而是随使用者操作逐帧变化的虚拟世界。^[1]

作者把它称为第一个在无标注互联网视频上、无需真实动作标签就能训练出来的生成式交互环境。^[1] 难点在「无标注」三个字上。通常要训练一个能响应操作的世界模型，得有成对的数据：一帧画面，加上那一刻按了什么键的记录。而互联网上的游戏视频只有画面，没有人记录玩家在每一帧按了哪个键。

怎么做的

Genie 有 110 亿参数，由三部分组成：一个时空视频分词器（spatiotemporal video tokenizer）、一个自回归动力学模型（autoregressive dynamics model）和一个潜在动作模型（latent action model）。^[1] 分词器把视频压成离散的 token，供后面两部分使用；动力学模型在这些 token 上一步步预测后续内容，它本身是一个 decoder-only 的 MaskGIT。^[3] 第三个部件承担了原本要靠标签完成的工作：既然没有记录按键，模型只能在训练中自己归纳出一套隐式的动作表示，把相邻帧之间的变化归因到某个抽象操作上，再让动力学模型依据它来预测。^[1]

训练数据是从互联网收集并经过筛选的 3 万小时游戏视频。^[3]

能拿来做什么

使用者可以用文本、合成图像、照片或手绘草图作为提示，生成可操控的虚拟世界，并逐帧在其中行动。^[1] 因为提示可以是一张草图或一张照片，模型并不局限于复现训练数据里的游戏：一张静态图片就足以定义一个可以走动的新环境。

论文还报告了游戏之外的实验：在机器人数据集上训练了一个 25 亿参数的模型，另外还在 RT1 数据集的无动作机器人视频上训练了另一个模型。^[3] 这类实验检验的是同一套做法能否迁移到另一种视觉序列上。

局限

最明显的是速度。Genie 大约只有 1 FPS，作者表示还需要未来的进展才能达到交互所需的流畅帧率。^[3] 每秒才更新一次的世界模型，更像研究演示，而不是通常意义上可以上手玩的东西。

在发展中的位置

2024 年 12 月，Genie 之后又出现了 Genie 2，它能生成可玩的 3D 环境。^[2] 这条路线把视频当作训练信号，用来构建可以被操作、而不只是被观看的环境模型。