混元 DiT 文生图模型

是什么

混元 DiT（Hunyuan-DiT）是腾讯推出的文生图模型，对中文和英文提示词都有细粒度理解。它的技术报告于 2024 年 5 月 14 日发布到 arXiv，代码与预训练模型同时公开^[1]。

扩散模型（diffusion model）生成图像的方式，是从一团噪声出发，一步步去除噪声，每一步都受文本提示词引导。混元 DiT 把这一过程放在潜在空间（latent space）里完成，也就是在图像的压缩表示上操作，而不是直接处理原始像素；它用 Transformer 作为主干网络，而不是早期图像模型常见的 U-Net 结构^[2]。

怎么工作

提示词通过两路编码器进入模型。一路是预训练的双语 CLIP 编码器，3.5 亿参数，负责中英文文本与图像之间的对齐；另一路是多语言 T5 编码器，16 亿参数，提供更丰富的文本表示^[2]。负责生成的模型本体是 15 亿参数，v1.0、v1.1、v1.2 三个版本都保持这一规模^[2]。把提示词处理拆成较小的对齐编码器加较大的多语言文本编码器，使同一个模型不用另做一个中文专用版本，就能处理两种语言的提示词。

数据方面，腾讯训练了一个多模态大语言模型来改写图像描述，让训练用的文字标注比原始网络抓取的描述更细^[1]。另一个独立的打标模型混元 Captioner（Hunyuan-Captioner）于 2024 年 6 月 27 日发布^[2]。

系统还支持多轮多模态对话：图像可以先生成、再依据对话上下文继续修改，而不是只依赖一条固定的提示词^[1]。配套的 DialogGen 模型有 70 亿参数，为这类交互做提示词增强^[2]。2024 年 5 月 22 日，官方发布了 TensorRT 版本和一个多轮文生图演示^[2]。

评测

在一次有 50 多名专业评测者参与的人工评测中，混元 DiT 的综合得分为 59.0%。这一成绩高于开源模型 SDXL（42.7%）、PixArt-α（45.5%）和 Playground 2.5（54.3%），也高于闭源的 SD 3（56.7%）；但低于 MidJourney v6 的 63.3% 和 DALL-E 3 的 71.0%^[2]。作者同时声称，在开源模型中，它的中文生图效果达到了新的最优水平^[1]。

把这几组数字放在一起看：它当时与最强的公开可用图像生成模型大致相当，明显落后于两个领先的闭源系统，而在中文提示词上的表现相对于其他开源发布来说格外突出。

版本与使用门槛

发布后的头两个月里，混元 DiT 有过多次更新。v1.1 于 2024 年 6 月 13 日发布，用于缓解图像过饱和的问题；v1.2 于 2024 年 7 月 8 日发布^[2]。2024 年 6 月 5 日，Diffusers 库加入了对它的支持，这意味着使用者可以通过这套广泛采用的推理工具链调用模型，而不必只用官方仓库^[2]。

对这类模型而言，它的硬件要求不算高。GitHub 仓库给出的数据是：在 A100 上、批大小为 1 时，混元 DiT 本体的显存峰值约为 11 GB；在 RTX 3090 或 4090 上约为 14 GB^[2]。全参数训练至少需要单卡 20 GB 显存，官方建议约 30 GB^[2]。

在发展中的位置

混元 DiT 属于把 U-Net 扩散结构换成 Transformer 主干的那一代图像模型，并且明确押注在双语文本理解上。随发布一并公开的权重、代码和技术报告，让外部研究者既能直接使用、也能自行核对；而在最初两个月里接连出现的版本更新和工具库集成，说明这次发布是一个被持续维护的项目，而不是一次性的演示。人工评测的数字给出了它当时的位置：胜过同期的开源对手，未及闭源前沿，其辨识度主要来自对中文的处理能力。