Runway 发布视频生成模型 Gen-1

背景

图像生成模型已经能根据一段文字提示画出单张图片。视频要难得多。一段视频是连续的许多帧，如果模型把每一帧单独处理，就没有办法让同一块表面在相邻帧里保持同一种颜色，人眼看到的会是闪烁，而不是影像。视频到视频（video-to-video）生成针对的正是这个问题：以已有视频为输入，输出一段外观被改写、但运动与构图保留的新视频。这让任务更接近剪辑与后期，而不是从零生成——换掉一个镜头的外观，或者预览同一场戏在另一种视觉处理下是什么样子。

发布

2023年2月，Runway 推出 Gen-1，这是一个用文字或图片提示、从已有视频生成新视频的模型^[1]。文字提示描述想要的外观，图片提示则提供一张参考图；无论哪一种，原视频都是输入，输出是由它派生出的新视频。与产品一同公开的还有一篇描述方法的论文，于2023年2月6日发布在 arXiv 上^[2]。

方法

模型以从源视频估计出的深度（depth）为条件^[2]。深度图给每个像素一个「离镜头多远」的估计值，近处的表面一个值，远处的表面另一个值，由画面本身推算得到。深度保留的是场景的几何信息，却不含颜色和纹理，因此把它当作条件信号，等于告诉模型哪些东西必须留在原位：人的轮廓、房间的布局、镜头运动的方向。颜色、材质和风格则可以按照提示重新生成，画面结构不会散掉。

模式

Gen-1 提供 Stylization、Storyboard、Mask、Render 和 Customization 几种模式^[1]。它们对应不同的控制方式：套用一种外观、依据分镜（storyboard）来生成、只在遮罩（mask）指定的区域内改动、渲染，以及让模型适配特定素材。在 Customization 模式下，用户可以用自己的素材对模型做微调（fine-tune），以获得更高的还原度^[4]；微调指的是在一小份特定的素材上继续训练模型，让它更忠实地重现这类素材。

评测

Runway 公布了用户研究的结果：用户偏好 Gen-1 输出的比例，相对 Stable Diffusion 1.5 为 73.53%^[1]，相对 Text2Live 为 88.24%^[4]。这些数字来自公司自己的偏好测试，衡量的是人对成对输出的主观选择。

意义

Gen-1 处在从生成图片走向生成与编辑视频之间的位置上。用深度来约束结构，是它与「逐帧套滤镜」的根本区别：逐帧处理只能改变像素颜色，无法保证跨帧的一致性，而把结构信息单独拿出来作为条件，改写后的画面仍然像是同一段拍摄。以这种方式看，视频到视频把生成模型摆到了后期工具的位置上——你带来现成的素材，要求换一种外观，而不是从无到有地搭出一个镜头。