扩散模型

它是什么

扩散模型是一类生成模型，也就是学习如何产生新数据（例如图像）的模型。它的核心是学习逆转一个逐步加噪的过程。训练时，人们一步步地向图像中加入噪声，神经网络则学习预测并去除所加的噪声。^[1]

为什么要一步步加噪？逐步破坏能把图像的细节以小而可控的幅度抹去，每一步都是网络能够学会逆转的变化。若从清晰图像直接跳到纯噪声，要反推回来就困难得多。

怎么工作

可以想象一张照片被慢慢覆盖上噪点，最后变成纯粹的随机噪声。训练就是教网络每次撤销这种破坏的一小步。生成时，过程反过来进行：模型从纯随机噪声出发，经过许多步去噪，最终得到一张新图像。^[1]

它从哪里来

2020 年 6 月，Ho、Jain 和 Abbeel 的 DDPM 论文表明，扩散模型生成的图像质量可以与 GAN（生成对抗网络）相媲美。在常用的图像数据集 CIFAR-10 上，论文报告的 FID 分数为 3.17。FID 越低，说明生成图像与真实图像越接近。^[1]

2021 年 12 月，Rombach 等人提出了潜在扩散（latent diffusion），让去噪过程在压缩后的潜在空间中进行，而不是直接在原始像素上进行，从而降低了所需的计算量。这一方法后来成为 Stable Diffusion 的基础，该模型于 2022 年 8 月公开发布。^[2]

今天用在哪里

文生图系统会把文本的嵌入表示（text embedding，即提示词的数值化表示）作为条件，引导去噪过程，使生成的画面符合描述。同样的思路也被扩展到视频和音频生成。^[3]在机器人领域，它被用来生成动作序列。^[4]这些应用的共同核心，是从噪声出发、以需要引导结果的条件为依据，然后一步步去除噪声。

与其他生成方法的关系

扩散模型只是生成模型中的一类。前文提到的 GAN 是另一类，两者在图像质量上经常被拿来比较。扩散方法的独特之处在于逐步构建输出，而每一步都可以受到文本提示等其他输入的引导。

局限

生成一张图像往往需要经过许多步去噪，这会消耗时间和算力。潜在扩散在较小的空间中运算，从而减少了一部分开销。^[2] 另外，过程从随机噪声开始，同一个提示词不一定得到同一张图像。这种多样性对创作有用，但也意味着结果无法保证与描述完全一致。步数也是一种取舍：步数少，速度快，但可能丢失细节；步数多，细节更好，但运行时间更长。