Meta 发布 Movie Gen 视频生成模型

背景

根据文字描述生成视频，比生成一张图片难得多。每一帧都要与前后画面保持一致，动作在时间上也要显得可信。因此，视频模型需要从大量样本中同时学习外观和运动。Movie Gen 是 Meta 试图把视频和声音放在同一组模型中的尝试。基础模型（foundation model）是在广泛数据上训练的大模型，可以服务于许多任务，而不是只做一件窄的事情。

发生了什么

2024 年 10 月 4 日，Meta 首次展示 Movie Gen，这是一组分别面向视频、图像和音频的媒体基础模型。^[1] Meta 把它描述为覆盖三种媒体的一组模型，使一段视频和它的配乐可以由相关的模型生成。^[1]

关键细节

视频模型。 主要的视频模型是一个 300 亿参数的 Transformer。它可以生成最长 16 秒、每秒 16 帧的视频。^[1] Transformer 是目前大多数大模型采用的神经网络架构。参数是模型在训练中调整的数值，参数越多通常意味着模型规模越大。

音频模型。 音频模型有 130 亿参数，可以生成最长 45 秒、与视频同步的声音。^[1] 同步的意思是声音与画面中发生的事情对齐，例如门在视觉上关上的那一刻发出关门声。

个性化视频。 Movie Gen 可以根据一个人的照片生成个性化视频。^[1] 这与只用文字的视频生成不同，因为人物的外观来自用户提供的照片。

用文字编辑视频。 该模型还支持基于文字的视频编辑。^[1] 这意味着用书面指令修改已有片段，而不是逐帧手工修改。

评估。 Meta 称，人类评估者更偏好 Movie Gen，而不是竞争的业界模型。^[1] 人工偏好测试会让人并排比较生成结果。由于生成的媒体很难只用一个数字来打分，这是评判此类内容的常见方法。

未公开发布。 Meta 没有发布 Movie Gen。公司表示，在任何未来发布之前，会先与电影制作人和创作者合作。^[1] 公开发布意味着别人可以下载并运行这些模型，因此保持不公开，模型仍由 Meta 控制。

影响

Movie Gen 显示，Meta 的研究已经从图像延伸到视频和声音。公司选择展示这些模型而不公开，并表示会先与电影制作人和创作者合作，再考虑任何未来发布。^[1] 这一做法表明，生成视频、个人形象和声音被视为需要外部意见、然后才能发布的领域。^[1]