谷歌研究院发布 Imagen

背景

文生图（text-to-image）指根据一段文字描述生成图像。到 2022 年，尝试这件事的系统已经不少，但两个问题还没有定论。第一，生成质量在多大程度上取决于读提示词的语言模型，而不是画图的图像模型。第二，怎样公平地比较不同系统——只看几张精心挑选的样例，很难说明模型在更难的请求上表现如何。

发生了什么

2022 年 5 月 23 日，谷歌研究院（Google Research）发布了 Imagen，一个文生图扩散模型^[2]。扩散模型（diffusion model）的做法是从随机噪声出发，一步一步去掉一点噪声，每一步都由提示词引导，最后留下图像。Imagen 的特点在语言这一侧：它用一个大型的、冻结的 T5-XXL 文本编码器来理解提示词^[1]。「冻结」指训练图像模型时文本编码器的权重不更新，图像一侧必须学会使用一套已经固定的语言表示。

关键细节

论文摘要指出，增大语言模型的规模，同时提升了生成样本的保真度和图文对齐程度^[2]，也就是更大的文本编码器既对应更好看的图像，也对应更贴合提示词的图像。

定量比较用的是 FID（Fréchet Inception Distance），它衡量生成图像的分布与真实图像分布之间的差距，数值越低越好。Imagen 在没有用 COCO 训练的情况下，取得了 7.27 的 COCO FID^[2]。COCO 是常用的真实照片与文字描述配对数据集，在这上面训练过的模型会占便宜，而这个成绩是在没有这种优势的情况下测得的。

这类数字并不能反映人眼注意到的全部东西，所以工作还依赖人工判断。谷歌研究院提出了 DrawBench，被介绍为一个全面且有挑战性的文生图基准^[1]。在 DrawBench 上，人类评分者更偏好 Imagen，而不是 DALL-E 2 及其他模型^[2]。

为什么重要

除了分数，Imagen 留下的还有两件事。第一是一个设计上的主张：把强的语言模型固定住，让图像模型去适应它，并把语言这一部分做大；摘要中报告的结论是，语言模型规模变大带来更好的保真度与图文对齐^[2]。第二是 DrawBench，它为这个领域提供了一个更难、也更共同的测试集，而当时文生图结果大多以挑选过的样例呈现^[1]。

它也有一道边界。谷歌以滥用风险为由，没有发布代码，也没有提供公开演示^[1]。因此外部研究者能读到论文和基准说明，却不能自己运行这个模型，这使它区别于那些向公众开放使用的系统。