《具备深度语言理解的照片级文生图扩散模型》（Imagen）

要解决的问题

文生图模型（text-to-image model）要同时完成两件事：把一句文字编码成图像生成器可以使用的条件表示，以及把像素生成到照片级的质量。Imagen 论文由 Chitwan Saharia、William Chan、Saurabh Saxena 与另外 11 位 Google 作者（其中包括 Jonathan Ho 和 Mohammad Norouzi）于 2022 年 5 月 23 日提交到 arXiv，作者把 Imagen 定位为一个在照片真实感（photorealism）和语言理解深度上都表现突出的文生图扩散模型^[1]。

怎么做的

Imagen 由两部分组成。文字提示先交给一个在纯文本语料上预训练的大型 Transformer 语言模型编码，论文举的例子是 T5；图像扩散模型再以这个编码为条件生成图像^[1]。所谓扩散（diffusion），可以理解为让模型学会一步步去掉噪声：训练时把图像逐渐加噪，模型学习这一过程的反向操作；生成时从随机噪声出发，反复去噪，最终得到图像。

论文的核心发现落在文字一侧而不是图像一侧：把语言模型做得更大，对生成样本的保真度和图文对齐度的提升，比把图像扩散模型做得更大更明显^[1]。也就是说，一个从未在图像—文本对上训练过的通用语言模型，在图像合成中承担了实质性的工作。

结果

论文报告的关键数字是：在完全没有用 COCO 训练的情况下，Imagen 在 COCO 上取得 7.27 的零样本（zero-shot）FID-30K^[1]。FID 衡量生成图像分布与真实图像分布之间的距离，数值越低越好。作为对照，论文给出 GLIDE 为 12.4、DALL-E 2 为 10.4^[1]。在图文对齐方面，人类评分者认为 Imagen 的样本与 COCO 数据本身相当^[1]。

DrawBench 与并排比较

与模型一同提出的还有 DrawBench，论文称它是一套覆盖面广、难度较高的文生图评测基准（benchmark）^[1]。作者用人工评测把 Imagen 与 VQ-GAN+CLIP、Latent Diffusion Models、DALL-E 2 放在一起做并排比较，评分者更偏好 Imagen^[1]。

为什么重要

有两点值得注意。第一是规模效应所在的位置：提升来自文本编码器而不是图像生成器，这说明这类系统的两半可以在一定程度上分开研究和扩展，也说明只在文本上做预训练的能力可以迁移到图像合成上^[1]。第二是评测。DrawBench 为一组固定的、有难度的评测用例提供了统一口径，论文的比较也是对着当时有名字的模型做的，而不是只报自己的数字^[1]。这两点合起来，把文生图的文字一侧变成了一个明确的研究对象，也让后来的比较有了共同的尺子。