Step-Video-T2V 视频生成模型

是什么 Step-Video-T2V 是阶跃星辰（StepFun）推出的文生视频模型，即根据文字描述生成视频的模型。它拥有 300 亿参数，以开源方式发布，权重可以被他人下载并在自己的设备上运行。

由来 阶跃星辰于 2025 年 2 月 17 日发布了推理代码、模型权重、Turbo 版本和技术报告^[1]。技术报告编号为 arXiv:2502.10248^[2]。该模型与汽车企业吉利汽车联合开源，同期还开源了语音模型 Step-Audio^[3]。

2025 年 3 月 17 日，阶跃星辰基于 Step-Video-T2V 发布了图生视频模型 Step-Video-TI2V，可以从一张起始图像生成视频^[1]。

主要特点 模型可生成最多 204 帧的视频，分辨率例如 544x992^[1]。

它的视频编码器是一种深度压缩的变分自编码器（VAE）。VAE 先把数据压缩成更小的内部表示，再从中还原。这一编码器在空间两个方向上各压缩 16 倍，在时间上压缩 8 倍^[1]。先压缩视频，可以降低之后生成步骤的计算量。

生成部分是扩散 Transformer，共 48 层，每层 48 个注意力头。它使用 3D 全注意力（同时在空间和时间上做注意力计算），并配合 AdaLN-Single、QK-Norm 和 3D RoPE（旋转位置编码，扩展到三个维度）。训练采用流匹配（flow matching），即学习一条从噪声到数据的路径^[1]。

模型配有两个双语预训练文本编码器，因此既能接收英文提示词，也能接收中文提示词^[1]。

训练的最后阶段使用了 Video-DPO，即直接偏好优化：让模型学习人们更偏好的输出。在视频生成中，它的作用是减少伪影、让画面更流畅^[1]。

阶跃星辰还发布了 Step-Video-T2V-Eval 评测集，包含 128 条来自真实用户的中文提示词，分布在 11 个类别中^[1]。

Step-Video-T2V-Turbo 采用推理步数蒸馏：用较快的模型去模仿较慢的模型。它只需 10 到 15 步即可生成，而基础模型需要 30 到 50 步^[1]。

模型采用 MIT 许可证发布^[1]。

在发展中的位置 Step-Video-T2V 是阶跃星辰 2025 年的开源发布之一，与语音模型 Step-Audio 一起，与吉利汽车联合推出^[3]。开放权重、宽松许可证和 Turbo 版本，使希望在自有硬件上运行视频生成的人可以直接使用。