Runway 发布文本生成视频模型 Gen-2

背景

文本生成视频（text-to-video）模型接收一段文字描述，输出的是会动的画面，而不只是一张静止的图片。这比生成单张图像要难：模型不仅要让某一帧看起来合理，还要让画面在许多帧之间保持一致——物体不能变形，运动要连贯，场景不能越走越偏。2023 年初，这个方向的大部分工作还待在研究机构里。TechCrunch 指出，大型科技公司的同类文本生成视频模型当时仍处于研究阶段，大多数用户根本接触不到^[4]。换句话说，演示与实际可用的产品之间有明显落差。

发生了什么

2023 年 3 月，Runway 发布了 Gen-2^[1][2]。它并不只做纯粹的文本生成视频：Gen-2 可以由文本、图像或已有的视频片段生成视频^[1][2]。这给了使用者不止一个入口——一段文字提示、一张静态图片，或者手头已有的素材，都可以作为起点。

模型并非一次性向所有人开放。在正式发布之前，Gen-2 采取限额的排队申请（waitlist）方式提供访问^[4]，这是 AI 产品在算力紧张时控制需求的常见做法。2023 年 6 月，它向公众开放^[2]。

关键细节

这次发布有两点值得注意。第一是时间。Gen-2 是最早一批可商用的文本生成视频模型之一^[2]，而它出现时，规模更大的公司做出来的同类系统仍局限在研究之中^[4]。对大多数人来说，这是第一次有机会真正上手试一试这类技术。

第二是能力与预期之间的差距。评论者指出，早期文本生成视频的输出存在明显局限^[3]。生成视频并不等于把许多张图依次排出来：小的不一致会不断累积，最终画面可能远比单帧看上去的样子更不稳定。当时关于 Gen-2 的报道把这些局限看作文本生成视频技术当时的普遍状态，而不是某一款产品的缺陷^[3]。

影响

Gen-2 的意义，与其说在于它生成的某一段视频，不如说在于它让「视频模型」变成了一件寻常事：一个任何人都能注册、输入提示词的产品。由于大型科技公司的同类系统当时仍是大多数用户接触不到的研究项目^[4]，2023 年 6 月的公开发布^[2]让普通用户第一次直接面对文本生成视频；而评论者看到的那些参差结果^[3]，也就成了人们衡量这项技术当时究竟能做到什么、又卡在哪里的共同参照。