OpenAI 发布 DALL·E 2

背景

文生图系统做的事情是：给它一句文字描述，它还你一张图。要做到这一点，模型必须把语言和画面接起来——先把一句话变成某种可以据以作画的东西，再把它画出来。OpenAI 在这一方向上的第一个系统是 DALL·E，拥有 120 亿参数^[1]。DALL·E 2 是它的第二代^[1]。

发布

2022 年 4 月 6 日，OpenAI 发布了 DALL·E 2^[1]。除了图像本身，这次发布还有两点值得注意：模型是怎么造的，以及谁能用、什么时候能用。

怎么做的

最有特点的设计在于「从什么生成」。DALL·E 2 并不直接从文字描述出发作画，而是先用 CLIP 图像嵌入（image embedding），再由扩散解码器（diffusion decoder）生成图像^[2]。CLIP 是一个被训练成把图像和它的文字说明放进同一个向量空间的模型，因此一个「嵌入」就是一串数字，代表一张图或一段文字的含义。扩散解码器则从随机噪声开始，一步一步去掉一点噪声，每一步都由那个嵌入来引导，最后得到一张图。

这种安排让系统在普通的「文字生成图像」之外多了两项能力：图像变体（image variations）和语言引导的编辑（language-guided edits）^[2]。一张已有的图一旦被转成嵌入，模型就可以据此生成新的图；而改动过的文字描述又能把结果推向另一个方向。

DALL·E 2 的参数量是 35 亿，比 120 亿参数的第一代更小^[1]。

结果

OpenAI 表示，DALL·E 2 生成图像的分辨率是 DALL·E 的 4 倍^[4]。在其评测中，判断图像是否与文字描述相符时，人们有 71.7% 的情况更偏好 DALL·E 2 的输出；判断照片真实感时，这一比例为 88.8%^[4]。

开放使用的过程

使用权限是分两步放开的。2022 年 7 月 20 日，付费内测向等待名单中的 100 万人开放^[1][3]。2022 年 9 月 28 日起，等待名单被取消，任何人都可以注册使用^[1]。也就是说，一个最初只是发布公告的系统，在几个月之内变成了大量普通人可以亲自上手尝试的东西。

安全措施

发布公告中列出了若干安全措施，其中包括限制模型生成暴力、仇恨或成人图像的能力^[4]。这些限制是在介绍模型时一并说明的，而不是事后追加；分阶段的开放方式也让系统的使用范围逐级扩大，而不是一次铺开^[1][3]。

意义

DALL·E 2 更适合放在一条产品与研究的脉络里看，而不是当作一次孤立的发布。它是 OpenAI 的第二代文生图模型，比第一代明显更小，生成的图像却更受评测者偏好^[1][4]。正是这个组合让它值得记住：进步既来自参数量，也同样来自方法上的改变——经由共享的图像—文本嵌入空间和扩散解码器来生成^[2]。

这次发布还大致定下了后来生成式图像模型公开落地的样式：先是一份附带明确生成限制的技术公告，然后是面向有限人群的等待名单内测，等容量与防护措施允许后再开放自由注册^[1][3][4]。对于想知道今天的图像生成工具从哪来的人来说，DALL·E 2 是这类方法从研究结果走向大众可用服务的节点。