《零样本文生图》（DALL·E 论文）

论文要解决的问题

文生图（text-to-image generation）指的是让系统根据一段文字描述生成一张图片。这篇论文的出发点是当时研究路线的一个问题：作者写道，这一方向长期把注意力放在「为在固定数据集上训练寻找更好的建模假设」上^[1]。沿着这条路线的工作，往往会设计复杂的网络结构、额外加上辅助损失（auxiliary loss），或者在训练时喂入物体部位标签、分割掩码（segmentation mask）这类附加信息^[1]。每一种做法都把人对「图像里有什么、该怎么描述」的先验知识编码进模型，同时也把模型绑死在某个数据集和某份标注预算上。

论文由 Aditya Ramesh、Mikhail Pavlov、Gabriel Goh 等 8 位 OpenAI 作者（其中包括 Ilya Sutskever）完成，2021 年 2 月 24 日提交到 arXiv^[1]。

做法：一条序列，一个目标

方法刻意做得朴素：用一个 Transformer 把文字和图像 token 当作单一数据流进行自回归建模^[1]。这句话里包含两个概念。

token 是离散的小单位——大致可以理解为文字的一小段或图像的一小块——模型把它当作词表里的一个符号。把文字 token 和图像 token 放进同一条序列，意味着「一句描述 + 一张对应的图」被模型看成一个整体，语言部分和视觉部分之间不需要额外的专门机制衔接。

Transformer 是一种以注意力（attention）为核心的神经网络结构，注意力让序列中每个位置在做出预测前先参考其他位置的信息。自回归（autoregressive）则是指：模型根据前面出现过的所有 token 预测下一个 token，把预测结果接上去，再预测下一个。这和语言模型里的操作完全一样，只不过词表里同时装着词和图像 token。因为整件事只是一条序列、一个预测目标，训练信号就是一个目标函数，而不是一堆分别调参的损失项。

用什么训练

模型是一个 120 亿参数（parameter）的自回归 Transformer，训练数据是从互联网上收集的 2.5 亿对图文数据^[1]。参数是网络内部可学习的数值；120 亿这个量级意味着，一个朴素的目标函数加上足够大的数据集，可以替代结构上的精巧设计。

评测采用零样本（zero-shot）方式，也就是模型没有针对被考察的单项任务做专门训练或微调。零样本成绩考的是泛化能力：一个只训练过一次的模型，能不能应付它从未被调优过的提示和场景。

结果

论文的结论说得很克制：在有足够数据和规模的前提下，该方法在零样本评测中与以往的领域专用模型相当^[1]。是「相当」，不是「超过」——那些为特定领域打造、带有手工设计组件和额外监督的模型仍是公平的对照，而这个简单模型在没有这些的情况下跟上了它们。

为什么重要

值得注意的是取舍的方向。作者没有增加结构来弥补数据不足，而是减掉结构、增加数据。如果这条路走得通，会带来几件事。像物体部位标签、分割掩码这样的附加信息不再需要了，而生产这类标注既昂贵，又会把模型限制在别人想到要标注的那几类东西上^[1]。复杂结构和辅助损失也不再需要，方法因此更容易描述、也更容易扩展^[1]。

这个结果还改变了问题的提法：真正值得问的是零样本表现。一个在未被专门调优的任务上也能打的模型，说明它的能力没有困在单个基准里。论文并没有宣称问题已经解决，它只是表明：在一条把文字和图像 token 合并在一起的序列上做单个自回归 Transformer，只要数据和参数足够，就能给出一个可用的答案——而此前这个领域期待的是一个复杂得多的答案^[1]。