Imagen

是什么

Imagen 是 Google Research 旗下 Brain 团队研发的文本到图像（text-to-image）扩散模型，论文《Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding》于 2022 年 5 月 23 日发布在 arXiv 上^[2]。它接收一句普通文字，输出一张与之对应的图片。论文标题点出的两件事——照片级真实感和对语言的深入理解——正是它想同时做到的目标。

怎么工作

Imagen 把任务分成文字和图像两半。

文字侧由一个大型且冻结的 T5-XXL 编码器负责，它把输入文本转换成嵌入（embedding），也就是用来表示词句含义的数值向量^[1]。所谓「冻结」，是指这些权重在图像训练过程中不更新：语言模型保持预训练后的原样，学习只发生在图像模型上。

图像侧是一条级联流水线。先由一个条件扩散（conditional diffusion）模型生成 64×64 的小图，再由以文本为条件的超分辨率（super-resolution）模型把它放大到 256×256，最后到 1024×1024^[1]。这里的「条件」就是文字侧给出的文本嵌入——每一步去噪都要参考它。扩散模型的基本做法是学习逆转加噪过程：训练时给图像逐步加入噪声，网络学习在文本条件下从带噪样本中去掉一点噪声，反复多次后得到干净图像。先出小图再逐级放大，是为了让计算量可控，同时又能交付大尺寸的结果。

语言模型负责理解提示词，图像模型负责把这份理解落实成像素；前者给出的条件越清楚，后者可依据的东西就越多。这也解释了论文为什么要去考察语言模型的规模。

实验结果

论文最常被引用的结论与规模有关：研究者发现，增大语言模型的规模，比增大图像扩散模型的规模更能提升样本保真度和图文对齐^[2]。论文把语言部分描述为在纯文本语料上预训练的通用大语言模型（large language model），例如 T5^[2]——它本来并不是为图像而设计的。

两项量化结果值得单独说。Imagen 在 COCO 上取得了 7.27 的新最优 FID 分数，而且从未在 COCO 上训练过^[2]。FID 衡量的是生成图像分布与真实图像分布之间的差异，数值越低，说明两者在统计上越难区分。

团队还提出了 DrawBench，Google Research 把它描述为面向文本到图像模型的全面而有挑战性的基准（benchmark）^[1]。在 DrawBench 上，人类评分者在样本质量和图文对齐两方面都更偏好 Imagen，而不是 VQ-GAN+CLIP、Latent Diffusion Models 和 DALL-E 2^[2]。由人来打分，能反映自动指标不容易覆盖的内容，比如图像是否真的画出了提示词里提到的物体，以及它们之间的关系。

发布与后续

Google 以滥用风险和网络抓取训练数据中的社会偏见为由，选择不公开 Imagen 的代码，也没有提供公开演示^[1]。因此外界对它的了解主要来自论文本身。

在 Google 自己的模型序列里，Imagen 于 2023 年 12 月由 Imagen 2 接续^[3]。