Stable Video Diffusion

是什么

Stable Video Diffusion（简称 SVD）是一个图像转视频的生成模型：给它一张静态图片，它输出一小段连续的动态画面。Stability AI 于 2023 年 11 月 21 日发布它，称其是公司第一个用于生成式视频的基础模型，建立在 Stable Diffusion 之上^[1]。它以研究预览的形式放出，而且不是一个模型，而是两个^[1]。

两个版本与输出规格

两个模型中较小的那个生成 14 帧，名为 SVD；较大的那个生成 25 帧，名为 SVD-XT^[2]。帧率并不固定，可以在每秒 3 帧到每秒 30 帧之间调整^[1]。按常见的设置，输出是约 2 到 4 秒、分辨率 576x1024 的短片^[2]。因为帧数和帧率都可调，同一个模型既能给出更短更连贯的画面，也能给出稍长但更跳的画面，但输出始终停留在几秒钟的量级。

数据与训练方法

随模型一同公开的论文把数据当作核心问题。论文指出，要生成高质量视频，一个经过良好整理的预训练数据集是必要的^[3]。为此作者提出了一套系统化的数据整理流程，其中包括打标（captioning）与过滤（filtering）策略，并用它训练出一个强基础模型^[3]。论文还辨认并评估了视频潜空间扩散模型（video latent diffusion model）的三个不同训练阶段^[3]。除了实际放出的图像转视频模型之外，论文还描述了一个文生视频（text-to-video）模型的训练，称其与闭源视频生成相比具有竞争力^[3]。

发布方式

代码放在 GitHub 的 Stability-AI/generative-models 仓库中，权重发布在 Hugging Face 上，路径为 stabilityai/stable-video-diffusion-img2vid-xt^[1]。模型可以针对下游任务进行微调，论文方给出的例子是从单张图像做多视角合成（multi-view synthesis）^[1]。Stability 表示，外部用户偏好研究显示该模型在发布时超过了领先的闭源模型^[1]。与此同时，公司也说明这一阶段的模型并不面向真实场景或商业应用^[1]。

在发展中的位置

Stable Video Diffusion 把 Stability AI 在 Stable Diffusion 上采取的开放权重路线，从图像延伸到了短视频。它在发布时的位置由公司自己讲清楚的两点界定：一是研究预览，二是通过外部用户偏好研究来对照其他模型，而不是当作可直接部署的产品推出^[1]。几秒钟的时长、不高的帧数，加上「此阶段不涉及商业应用」的明确说明，都说明它是把图像生成推向运动画面的一步，而不是一件成品工具^[1][2]。对多视角合成这类任务的微调支持，以及代码与权重的公开，指向的也是研究与进一步训练，而非终端用户应用^[1]。