去噪扩散概率模型（DDPM）

要解决的问题

2020 年 6 月 19 日，加州大学伯克利分校的 Jonathan Ho、Ajay Jain 和 Pieter Abbeel 将论文《Denoising Diffusion Probabilistic Models》（去噪扩散概率模型）提交到 arXiv，随后在 NeurIPS 2020 上发表^[1]。论文关心的是一个具体问题：被称为扩散概率模型（diffusion probabilistic model）的这一类模型，能不能生成出与当时最好的图像生成器相比也不逊色的图片。

这套框架本身并不新。扩散概率模型由 Sohl-Dickstein 等人在 2015 年提出，这篇论文在那套框架上继续推进，并把它与去噪分数匹配（denoising score matching）联系起来^[1]。它补上的是训练方法：一套能在标准图像基准的规模上真正跑出结果的训练流程^[1]。正是这一步，让扩散模型成为 GAN 的实用对手^[2][3]。

怎么做的

基本思路是先把图像慢慢毁掉，再学会把这个毁掉的过程倒放。前向过程在图像上分很多小步加入高斯噪声（Gaussian noise），一直加到基本只剩噪声；反向过程则让神经网络看着带噪图像，预测这一步被加进去的噪声是什么，再把它减掉。如此重复足够多步，一张图就从纯噪声里生成出来^[1]。

预测的对象很关键。网络不是直接输出干净图像，而是输出噪声本身，损失函数衡量的是预测噪声与真实加入的噪声之间的差距^[1]。生成时把同一套机制倒过来用：从纯噪声出发，反复调用这个网络，每一步去掉一点噪声^[1]。

这里用的网络是 U-Net：一种先压缩输入的空间分辨率、再逐层还原的卷积网络结构，两半之间有信息通路相连。实验中的扩散步数取 T = 1,000，这样定的理由是让采样一张图所需的神经网络前向计算次数与先前工作相当，图像质量的比较才是在同一条件下进行的^[1]。

结果

在 CIFAR-10 上，模型取得 9.46 的 Inception 分数和 3.17 的 FID 分数，在当时是无条件生成（unconditional generation，即不提供类别标签）的最好成绩^[1]。这两个指标都是给生成图像打分的常用办法：Inception 分数看的是分类器能否把生成图认成某一类里清晰的物体，并且奖励类别的多样性；FID 则比较生成图像与真实图像的分布差距。论文还展示了质量很高的 256×256 LSUN 图像^[1]。

为什么重要

扩散模型此前在文献里已被描述过，这篇论文的意义在于让它真正成为可用的图像生成器，质量足以与 GAN 并列，而不是落在后面^[2][3]。它给出的几个部件——用 U-Net 预测被加入的噪声、把过程倒放并跑上一千步来采样——被后来的图像生成模型继承了下来。

后来的影响

2021 年 5 月的一篇后续论文报告称，扩散模型的图像质量超过了当时的最好水平，GAN 也在被超过之列^[2]。今天，DALL-E 2、Imagen 与 Stable Diffusion 使用的都是基于扩散的图像生成方法^[3]。从后来的位置回看，这篇论文是扩散从文献中的设想变成可用的图像合成方法的那个转折点。