Runway 发布 Gen-3 Alpha

背景

文生视频模型根据一段文字提示生成一串连续画面。它从大量「视频—文字描述」配对数据中学习，生成时由提示引导，输出一段与之相符的片段。这类模型有两个特别难做好的性质。第一是一致性（consistency）：画面中的物体、人物或场景不该在相邻帧之间变形、变色或换脸。第二是运动（motion）：动作看起来要合理，而不是整体平移或逐渐融化。Runway 此前已经发布过上一代视频模型 Gen-2，Gen-3 Alpha 就是以它作为改进基准来介绍的^[1]。

发布内容

2024年6月17日，Runway 宣布推出 Gen-3 Alpha^[1]。公司称该模型在全新的大规模多模态基础设施上，联合使用视频和图像训练^[1]。同时用图像和视频训练是一个有实际理由的设计选择：静态图像的数量远多于视频片段，并且承载了细致的视觉信息，因此同时见过两者的模型可以从不同来源分别学习外观与运动。「多模态」（multimodal）在这里指的是基础设施要处理不止一种数据，即视频和图像，而不是指单一输入格式。

关键细节

Runway 称 Gen-3 Alpha 在保真度（fidelity）、一致性和运动三个方面较 Gen-2 有提升^[1]。保真度指画面是否清晰、细节是否到位；一致性指主体在各帧之间是否保持可辨认；运动指动作是否可信。

模型还增加了细粒度的时间控制（fine-grained temporal control）^[1]。时间控制指的是能够安排一段片段中某一时刻发生什么，而不是只给一句描述、然后接受模型自己展开的结果。更细的控制之所以重要，是因为视频生成不只是产出一帧好看的画面，还要把事件在时间上编排好。

发布信息中还有两项特性。Gen-3 Alpha 配有自建的审核系统（moderation system）^[1]，也就是对提示和输出进行过滤的机制由 Runway 自己搭建和运行，而不是完全交给外部工具。它还带有 C2PA 来源信息（provenance）^[1]。C2PA 是一套开放的技术标准，用于给媒体文件附加带签名的元数据，记录内容是如何生成和编辑的；对生成视频而言，这让观众和平台可以核查一段片段出自哪个工具、之后有没有被改动而不留记录。

开放情况

刚发布时，Gen-3 Alpha 只向少量测试者开放，处于封闭内测阶段^[3]。到2024年7月1日，该模型已经可以向用户提供^[2]，并在同一天从封闭内测转为正式可用^[3]。

使用它需要付费订阅，起价每月15美元，并采用基于积分的计费方式^[3]。积分计费的意思是每次生成都会消耗一定数量的积分，因此使用越多或片段越长，积分消耗得越快；订阅买到的是额度，而不是无限量生成。

意义

Gen-3 Alpha 出现在视频生成从「产出短小、一眼可辨是合成」的阶段，转向「可以被人指挥的工具」的节点上。对一致性和运动的强调，回应的是观众最先注意到的两类失败；细粒度时间控制则让提示词更接近分镜安排，而不只是一句笼统的描述^[1]。

在发布时就附带 C2PA 来源信息并运行自建审核系统，反映的是另一层考虑：当生成视频越来越难与实拍画面区分，「这段素材从哪里来」就和「它看起来怎么样」同样重要^[1]。来源元数据并不判断内容真假，但它记录了由哪个工具产出、之后是否经过编辑。

定价结构也说明了问题。采用订阅加积分的方式，把成本与用量挂钩，反映的是生成视频在算力上远比生成文字或单张图片昂贵^[3]。对使用者来说，能产出多少视频，除了取决于想法，也取决于账户里的积分余额。