智谱开源视频生成模型 CogVideoX

背景

智谱的开源视频工作早于这次发布。CogVideo 于 2022 年 5 月 19 日开源，被描述为首个开源的、基于大规模 Transformer 的文生视频模型。^[1] 文生视频模型把一段文字描述转换为短视频片段。Transformer 则是如今许多大型语言模型和视觉模型共用的神经网络结构。

2024 年 7 月，智谱推出文生视频产品清影（Ying）。清影生成一段六秒视频大约需要 30 秒。^[2] 清影是智谱的商业产品，开源模型则在同年 8 月才发布。

发生了什么

2024 年 8 月 6 日，智谱与清华大学发布 CogVideoX-2B，这是 CogVideoX 系列中首个向公众开放的模型。CogVideoX-5B 于 2024 年 8 月 27 日发布。^[1] 此举使清影背后视频生成模型的开源版本可以被任何想要下载的人获取。^[1]

关键细节

CogVideoX-2B 和 CogVideoX-5B 生成的视频分辨率均为 720×480 像素。^[1] 两个版本的许可证不同：CogVideoX-2B 采用 Apache 2.0 许可证，这是一种允许广泛再利用的宽松开源许可证；5B 模型使用单独的 CogVideoX 许可证。^[1] 条款既然不同，想要运行其中某个模型的人，应先阅读该版本的许可证。

该系列被描述为承接自 CogVideo，即 2022 年开启这一路线的项目。^[1] 名称也体现了这种传承：CogVideo 是起点，CogVideoX 则是把智谱文生视频工作继续推进的版本。

影响

这次发布让研究者和开发者可以下载到一个公开的文生视频模型，它来自中国的实验室，与商业产品清影并行存在。开源意味着人们可以在自己的硬件上运行模型、研究其内部，并在各版本许可证允许的范围内基于它开发。2B 模型采用宽松许可证、5B 模型采用单独许可证，说明即使同出一个项目，同一模型系列的条款也可以不同。