Stability AI 发布 Stable Video Diffusion

背景

Stability AI 此前的模型主要是建立在 Stable Diffusion 之上的图像模型。Stable Video Diffusion 把这一工作扩展到了视频。视频是一连串画面帧，因此视频模型需要让相邻画面之间保持一致，而不只是生成单张图片。这次发布是 Stability 首个生成式视频基础模型。

发生了什么

2023年11月21日，Stability AI 以研究预览的形式发布了 Stable Video Diffusion。^[1] 预览版包含两款图生视频模型，分别生成14帧和25帧，名称为 SVD 和 SVD-XT。^[1][2]

研究预览（research preview）是指先把模型交给外部研究者测试和研究，之后才可能作为成品提供，这类版本通常对商业用途有所限制。生成视频比生成单张图片更难，因为相邻画面在内容、光线和运动上必须彼此一致；处理得好的模型，才能生成连贯的片段，而不是一组互不相关的图片。帧数决定了在给定帧率下片段的时长，这也是14帧版本和25帧版本长度不同的原因。

Stable Video Diffusion 与公司的图像模型同属一个产品线。对图像模型而言，单张画面就是成果；对视频模型而言，成果是整个帧序列，因此运动随时间展开的方式与每一帧的画面质量同样重要。研究预览通常先由一小部分社区用户测试，有助于开发者在更广泛发布之前发现问题。

关键细节

帧率可以在每秒3至30帧之间设定。^[1]

代码发布在 GitHub 上，权重发布在 Hugging Face 上。^[1]

Stability 表示，该模型仅供研究使用，尚未面向商业用途。^[1]

Stability 称，外部用户偏好研究发现，该模型超过了领先的闭源模型。^[1]

影响

这次发布标志着 Stability 较早地向公众推出生成式视频方向的成果。由于是研究预览，公司把它定位为供进一步研究的基础，而不是成品商业产品。^[1]