CogVideoX 视频生成模型

是什么

CogVideoX 是智谱 AI 与清华大学共同开发的开源文生视频（text-to-video）模型系列。系列的第一个成员 CogVideoX-2B 于 2024 年 8 月 6 日发布，规模更大的 CogVideoX-5B 于 8 月 27 日发布^[1]。项目自述为智谱「清影（Ying）」产品背后视频生成模型的开源版本^[1]。清影是智谱在 2024 年 7 月上线的文生视频产品，生成一条 6 秒视频约需 30 秒^[2]。与只提供接口的闭源产品不同，CogVideoX 把模型权重公开出来，研究者和开发者可以自行下载、运行和研究。

由来

这条模型线比 2024 年的几次发布要长。它源自 CogVideo——2022 年 5 月 19 日开源，被描述为第一个开源的大型 Transformer 文生视频模型^[1]。智谱在 2024 年 3 月曾宣布正在研发类 Sora 的视频技术，并将其视为通往通用人工智能（AGI）的一条路径^[2]。技术报告题为《CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer》，于 2024 年 8 月 12 日首次提交到 arXiv，共有 18 位作者，最后一位是唐杰^[3]。

怎么做的

CogVideoX 属于扩散模型（diffusion model）：它学习的是把随机噪声一步步变成视频，像是雕刻家一点点去掉多余的部分，而不是一笔笔画上去。视频相对图像多了一个难点——时间。相邻画面必须彼此连贯，否则看起来就会闪烁、变形。为此，CogVideoX 使用一个三维变分自编码器（3D VAE），在空间和时间两个维度上同时对视频做压缩^[3]，扩散过程因而作用在紧凑的表示上，而不是直接处理原始像素。按论文的说法，模型能够生成与文本提示相符的 10 秒视频，帧率 16 fps，分辨率 768x1360^[3]。

版本与许可

最初的 CogVideoX-2B 和 CogVideoX-5B 生成 720x480 的视频^[1]。2024 年 9 月 19 日，图生视频版本 CogVideoX-5B-I2V 推出，用户可以不再只给文字，也可以从一张静态图片出发^[1]。2024 年 11 月 8 日发布的 CogVideoX1.5-5B 与 5B-I2V 把输出提高到 1360x768、16 fps，时长可选 5 秒或 10 秒^[1]。

许可并不统一：CogVideoX-2B 采用 Apache 2.0 许可，5B 系列则使用单独的 CogVideoX 许可^[1]。对小模型和大模型来说，商用条件并不相同，使用前需要分别确认。

公开了什么

作者说明，三维因果 VAE（3D Causal VAE）、视频描述模型（video caption model）以及 CogVideoX 本身都已公开可用^[3]。连同生成模型一起放出描述模型值得注意：带高质量文字说明的视频数据是训练视频模型的瓶颈之一，能把片段转成可用文本的描述器属于整条流程的一部分，而不是附带品。

作者还称，模型在多项机器指标和人工评测上取得了当前最好的表现^[3]。这类比较是作者在自己技术报告中的说法，结论与所选基准和对照模型有关。

在发展中的位置

CogVideoX 处在一个特殊的交叉点上：一家公司的商业视频产品和面向公众的开源发布，共用同一套底层技术。智谱把视频生成视为通向通用人工智能的一条路径^[2]，而开源发布让这项工作可以被外部检视和复用。从 2022 年的 CogVideo 到 2024 年的 CogVideoX 家族，再到同年晚些时候的 1.5 版本，迭代集中在分辨率、时长和输入方式上，其中也包括从纯文本生成扩展到图生视频^[1]。