Movie Gen（视频生成模型）

是什么

Movie Gen 是 Meta 于 2024 年 10 月 4 日首次展示的一组媒体基础模型。基础模型是一种通用模型，可以适配到许多任务上。Meta 把 Movie Gen 称为其生成式 AI 研究的「第三波」。^[1]

这组模型涵盖四种能力：视频生成、个性化视频生成、精确视频编辑和音频生成。^[1] 文生视频指模型把文字描述转换为动态画面，文生图则对单张图片做同样的事。

由来

Meta 使用授权数据集与公开可获得的数据集相结合的方式训练这些模型。^[1] 描述这项工作的研究论文发布在 ai.meta.com/research/movie-gen。^[1]

主要特点

视频生成。 视频模型是一个 300 亿参数的 Transformer。它同时针对文生图和文生视频做了优化，能够生成最长 16 秒、每秒 16 帧的视频。以电影标准看，每秒 16 帧偏低。^[1]

个性化视频。 这一能力输入一个人的图像和一段文字提示，生成以该人物为主角的视频。^[1]

精确编辑。 编辑能力输入一段已有视频和一段文字提示。它支持局部编辑，如添加、删除或替换画面元素，也支持背景或风格等全局修改。^[1]

音频生成。 一个 130 亿参数的音频模型可以生成最长 45 秒的环境声、音效和器乐音乐，并且与视频同步。一种扩展技术可以让音频覆盖更长的视频。^[1]

人工评估。 Meta 报告称，在四种能力的 A/B 人工评估中，其结果相对于竞争的行业模型取得了正的净胜率。在 A/B 测试中，人会看到两个输出并选出更喜欢的一个。正的净胜率意味着 Meta 的输出被选中的次数多于竞争对手的输出。^[1]

在发展中的位置

Movie Gen 在发布时没有公开提供。Meta 表示，在任何可能的未来发布之前，它会与电影制作人和创作者合作。^[1] 因此，这项研究更像是对模型能力的展示，而不是人们可以使用的产品。

Movie Gen 从未公开发布。^[2] 2026 年 7 月，Meta Superintelligence Labs 推出了 Muse Image 和 Muse Video，并称其为 Meta 首批媒体生成模型。^[2] Movie Gen 是 Muse 系列的前身研究，但 Muse 系列是拥有各自能力的独立模型。^[2]

对学习者而言，Movie Gen 是了解 2024 年这一领域概况的有用参考：文生视频、个性化视频，以及与画面匹配生成的音频，都在同一组研究模型中完成。^[1]