OpenAI 发布 DALL·E

背景

图注（caption）是对一张图像的简短文字描述。此前，图像模型通常被训练来识别一组固定的、带标签的类别。2021 年的这项工作，目标是让语言与图像之间建立更灵活的联系，使模型能够响应日常用语描述的内容。

发生了什么

2021 年 1 月 5 日，OpenAI 宣布推出 DALL·E，这是一个能根据文字图注生成图像的神经网络，适用于自然语言可以表达的多种概念。^[1] 同一天，它还介绍了 CLIP，这是一个从自然语言监督中学习视觉概念的网络。CLIP 可以仅凭类别名称进行零样本（zero-shot）图像分类。^[2]

DALL·E 的论文《Zero-Shot Text-to-Image Generation》于 2021 年 2 月 24 日发布在 arXiv 上，作者为 Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever。^[3]

关键细节

这一方法把文字和图像视为同一条数据流。一个 Transformer 以自回归（autoregressive）的方式对文本词元和图像词元建模，把它们当作单一序列逐个预测，方式与语言模型预测下一个词相似。论文依靠的是数据和规模，而非复杂的架构或额外的标注。^[3]

该模型是一个 120 亿参数的自回归 Transformer，训练数据为从互联网收集的 2.5 亿组文本-图像配对。^[3]

以 16 位精度计算时，这个 120 亿参数的模型约占 24 GB 显存，超过了 16 GB 的 NVIDIA V100 GPU，因此团队采用了参数分片（parameter sharding），即把模型参数拆分到多个设备上。^[3] 论文报告，在零样本评估中，该模型与此前专为特定领域设计的模型相比具有竞争力。^[3]

后继版本 DALL·E 2 于 2022 年 7 月 20 日进入测试版。OpenAI 从候补名单中邀请了 100 万人，提供每月免费额度，并以每 115 次生成 15 美元的方式出售额外额度。^[4]

把图像表示为离散的词元序列，使处理文本的同一类模型也能用于图片。图注在这里相当于为生成图像词元提供的起始语境。^[3]

影响

这项工作表明，一个自回归模型可以根据文字生成图像，并以相近的方式处理图注和图像。此后，以共享方式连接文字与图像的方法成为图像生成领域的主要方向之一。后继版本转向付费额度，也反映出图像生成正从研究演示走向用户付费使用的产品。

论文中的零样本结果意味着，模型是在未经专门训练的任务上接受评估的。这是一种有用的检验，但与其他基准结果一样，它描述的是所选测试的表现，并不等于所有用途下的表现。^[3]