DALL·E（初代）

是什么

DALL·E 是 OpenAI 于 2021 年 1 月 5 日公布的文本生成图像（text-to-image）模型，是一个根据文字描述生成图片的神经网络，能覆盖范围很广的概念。它的名字由皮克斯动画里的机器人 WALL-E 和画家萨尔瓦多·达利（Salvador Dalí）拼合而成。^[2][3] 同一天，OpenAI 还介绍了另一个独立系统 CLIP。^[4]

由来

这套系统写在论文《Zero-Shot Text-to-Image Generation》里，作者是 Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever，论文于 2021 年 2 月 24 日发布在 arXiv 上。^[1] 它的底层是一个被改造用来生成图像的 GPT-3：一个 120 亿参数的自回归（autoregressive）Transformer，训练数据是从互联网上收集的 2.5 亿对文本—图像。^[1][3]

「自回归」的意思是，模型一次只产出一个单元，每个单元都以它之前产出的全部内容为条件，就像语言模型一个词一个词地写句子。

怎么做的

方法分两步。第一步，一个离散变分自编码器（discrete VAE）把每张 256×256 的图像压缩成 32×32 = 1,024 个图像词元（token）。变分自编码器是一对编码器—解码器，学习输入的紧凑表示；把它做成离散的，图像就能被当作一串符号来处理，和文字很像。第二步，最多 256 个文本词元和这些图像词元被放进同一条序列里建模，模型逐个生成图像词元。^[1] 正因为文本和图像共享同一条流，DALL·E 接收的是最多 1,280 个词元组成的单一数据流，并以最大似然为目标训练它一个接一个地生成词元。^[5]

规模也带来了工程问题。这个 120 亿参数的模型在 16 位精度下需要约 24 GB 显存，超过一块 16 GB 的 NVIDIA V100 显卡的容量，因此团队采用了参数分片（parameter sharding），把参数分散到多块设备上，而不是全部放在一处。^[1]

能做什么

OpenAI 表示，DALL·E 可以画出动物和物体的拟人化版本，以合理的方式把互不相关的概念组合起来，渲染文字，并对已有图像施加变换。^[5] 论文的评测刻意采用零样本（zero-shot）方式：模型没有在该数据集上训练过，却直接在 MS-COCO 的文本描述上测试，人类评估者在 90% 的情况下更偏好它生成的样本，而不是此前在该数据集上训练过的系统生成的样本。^[1]

为什么重要

它的做法是把文本词元和图像词元放进同一条自回归序列，于是同一个预测下一个词元的模型就能同时处理两种模态，而不必让一个描述编码器去对接另一个图像生成器。零样本的成绩是更值得注意的部分：一个从未见过 MS-COCO 的模型，生成的结果仍被人更 prefer……