腾讯开源混元 DiT 文生图模型

背景

文生图模型能根据文字描述生成图像。混元 DiT 是腾讯推出的文生图模型，采用扩散 Transformer 架构，支持中英文提示词^[2]。

扩散模型通过学习逐步去除图像噪声的过程来生成图像；文本编码器则把提示词转换为模型可以使用的数值表示。CLIP 是一种常用的图文对齐编码器，T5 则是只在文本上训练的语言模型编码器。两者结合，让图像模型从两个角度理解同一段提示词。

发生了什么

2024 年 5 月 14 日，腾讯把混元 DiT 的技术报告发布在 arXiv 上，并公开了代码和预训练模型^[1]。该模型是一个拥有 15 亿参数的扩散 Transformer，用于中英文文生图^[2]。它使用一个中英双语的 CLIP 编码器和一个多语言 T5 编码器来处理提示词^[2]。

关键细节

这次人工评测有 50 多名专业评测人员参与。按作者的说法，它在开源模型的中文到图像生成方面达到了新的最好水平^[1]。综合人工评测得分为 59.0%，低于 MidJourney v6（63.3%）和 DALL-E 3（71.0%）^[2]。这些评测数字来自作者自己的研究，读者可以与其他独立比较放在一起参考。

后续版本 1.1（2024 年 6 月 13 日）和 1.2（2024 年 7 月 8 日）也在同一代码仓库中发布^[2]。

影响

这次发布把一个开放的中英双语图像生成模型交到了研究者和开发者手中，他们可以从代码仓库获取代码和预训练模型^[1][2]。由于模型同时支持中英文，使用者不必把提示词全部改写为英文。

人工评测的结果取决于所选的提示词和评测人员，读者最好结合其他独立测试来理解这些数字。