Runway Gen-1

它做什么

Runway Gen-1 是一个视频到视频（video-to-video）模型：它不凭空生成画面，而是拿一段已经拍好的视频作输入，再用文字或图片引导，生成一段新的视频^[1]。按 Runway 的说法，它把图片或文本提示词的构图与风格套用到源视频的结构上^[5]。这个模型于 2023 年 2 月推出^[1]，Runway 给它的说法是：不用真的去拍，也能拍出新的东西^[5]。

由来

该模型写在论文《Structure and Content-Guided Video Synthesis with Diffusion Models》里，作者是 Patrick Esser、Johnathan Chiu、Parmida Atighehchian、Jonathan Granskog 和 Anastasis Germanidis，2023 年 2 月 6 日提交到 arXiv^[2]。当时 Runway 在业内的位置，按 MIT Technology Review 的说法，是 Stable Diffusion 背后的原初创业公司^[3]。

怎么工作

Gen-1 是一个视频扩散模型（video diffusion model）。扩散模型的做法，是学习把噪声一步步还原成数据——在这里是视频——让起初一片随机的噪点逐渐收敛成连贯的画面。

为了在改动画面的同时保住原片的结构，Gen-1 以单目深度估计（monocular depth estimate）为条件，并且可以在粗细不同的细节层次上施加这种条件^[2]。深度图记录的是场景中每个部分离镜头有多远；从单个视角估计出来的深度，能刻画出镜头的空间布局——物体在哪里、怎么移动——却不必带上原片的颜色和纹理。条件可以按不同粗细的层次给出，模型就能一边保留大体的结构，一边替换更细一层的外观。也就是说，源视频贡献结构，提示词贡献内容和风格。

论文还说明，模型是在图像和视频上联合训练的，并提出了一种新的引导方法，用来控制时间一致性^[2]。把静态图像也拿来一起训练，等于给模型补充了大量学习外观的素材；时间一致性（temporal consistency）管的是相邻帧之间不要闪烁、不要各自漂移——这正是让生成的视频看起来像视频，而不是一串互不相干的图片的关键难点。

使用方式

Runway 提供了几种模式：风格化（Stylization）、故事板（Storyboard）、遮罩（Mask）、渲染（Render）和定制（Customization）^[1]。其中定制是在模型上做微调，以获得更高的保真度^[1]。这些模式对应着把源视频和提示词结合起来的几种不同方式，从整段改写风格，到只在画面的某个区域内动手。

评测

Runway 公布了用户研究的结果：与 Stable Diffusion 1.5 对比时，Gen-1 的输出在 73.53% 的情况下被选中；与 Text2Live 对比时，这一比例是 88.24%^[1]。这些数字来自公司自己组织的对比，而不是独立的第三方基准，因此反映的是测试者对它的接受程度，而不是视频模型之间的总体排名。

在序列中的位置

Gen-1 属于最早一批真正能被普通人租来使用的视频生成系统，被视为最早投入商用的视频生成模型之一^[4]。它的后继者 Gen-2 增加了文生视频（text-to-video）能力，一段视频可以直接从文字描述生成，而不必先从已有素材变换而来^[4]。这也标出了 Gen-1 与后来路线之间的分界：前者改写已经拍下的东西，后者则用一句话生出一个镜头。