Runway Gen-2

是什么

Runway Gen-2 是一个多模态（multimodal）人工智能系统，可以根据文字、图片或视频片段生成新的视频 ^[1]。它并非单一工具，而是把多种生成模式收在同一个产品里，通过 Runway 的网页应用提供 ^[1]。

由来

开发它的 Runway 被描述为一家获得 Google 投资的初创公司，曾参与开发 Stable Diffusion 图像生成器 ^[5]。Gen-2 于 2023 年 3 月发布 ^[2]。最初几个月里，它只能通过限额的排队名单（waitlist）申请使用 ^[5]；到 2023 年 6 月，它才向公众开放 ^[2]。

Gen-2 迈出的那一步，是在前代模型 Gen-1 的视频转视频（video-to-video）能力之上加入了文字生成视频（text-to-video），这使它成为最早一批商用文生视频模型 ^[2]。这两类任务差别不小：视频转视频系统拿一段已有的素材重新渲染，而文生视频系统必须仅凭一段文字提示，自行构想出运动、时序和画面结构。

八种模式

按 Runway 自己的介绍，Gen-2 有三种新模式——文字生成视频、文字加图片生成视频、图片生成视频；此外还保留了 Gen-1 的 Stylization（风格化）、Storyboard（故事板）、Mask（蒙版）、Render（渲染）和 Customization（自定义）^[1]。把新模式与继承下来的模式合在一起，Gen-2 的产品页面共列出八种模式 ^[4]。它也因此被描述为一个支持文字生成视频、文字加图片生成视频以及图片生成视频等多种变体的多模态系统 ^[4]。

由于旧模式与新模式并存，同一个产品既可以从一句提示或一张静态图开始生成片段，也可以对已经存在的素材做变换 ^[1][4]。

反响

Gen-2 于 2023 年 6 月向公众开放时，TechCrunch 的评测认为，它暴露出当时文生视频技术的局限 ^[3]。为了让人们自己判断，Runway 提供了大约 100 秒的免费视频生成额度供试用 ^[5]。

在模型序列中的位置

Gen-2 之后是 2024 年 6 月的 Gen-3 Alpha ^[2]。在 Runway 的模型序列里，Gen-2 是产品从改造已有视频，扩展到同时能用文字和图片生成视频的那个节点 ^[2]。