Stable Diffusion（v1）

是什么

Stable Diffusion 是一个开放权重的文生图（text-to-image）模型：输入一段文字提示，输出一张图像。Stability AI 于 2022 年 8 月 22 日宣布公开发布，此前在 8 月 10 日已宣布面向研究者发布第一阶段版本^[1][4]。由于权重公开，人们可以直接在自己的硬件上运行它，而不必只通过某家公司提供的在线服务使用。

由来

方法来自潜扩散（latent diffusion），出自 Robin Rombach、Andreas Blattmann、Dominik Lorenz、Patrick Esser 与 Björn Ommer 的论文《High-Resolution Image Synthesis with Latent Diffusion Models》，2021 年 12 月发布到 arXiv，后在 CVPR 2022 发表^[3]。Hugging Face 称该模型由 CompVis、Stability AI 和 LAION 的研究者与工程师共同做出^[5]；Stability 的发布公告还提到了 Runway 以及慕尼黑大学（LMU Munich）的 Machine Vision & Learning 小组^[4]。

怎么工作

扩散模型（diffusion model）的学习目标是逆转一个加噪过程：训练时一步步给图像加噪声，网络学习如何把噪声去掉；生成时从随机噪声出发反复去噪，图像就逐渐浮现出来。潜扩散的思路是不在像素上做这件事，而是在自编码器（autoencoder）压缩后的潜空间里做：自编码器把图像压成更小的表示，扩散过程在这个表示上进行，最后再由解码器还原成完整图像^[3]。在这个更小的空间里计算，训练和采样才负担得起。

文字提示通过交叉注意力（cross-attention）进入模型。在 v1 中，提示由一个冻结的 CLIP ViT-L/14 文本编码器编码，该编码器有 1.23 亿参数，编码结果通过交叉注意力层送入一个有 8.6 亿参数的 UNet^[2]。文字就是这样左右去噪过程生成什么内容。

训练与发布的权重

模型在 LAION-5B 图像-文本数据库的一个子集上训练，分辨率为 512x512^[2]。发布时公布了多个检查点，从 sd-v1-1 到 sd-v1-4，其中 v1.4 是推荐公开使用的权重^[2]。Stability 表示训练在其 4000 张 A100 组成的 Ezra-1 集群上完成^[4]。

随模型发布的东西

发布采用 CreativeML OpenRAIL-M 许可证，允许商业和非商业使用，同时附带若干使用限制^[1]。软件包中包含一个基于 AI 的安全分类器，默认开启，用于过滤不想要的输出^[1]。Stability 还提供了在线应用 DreamStudio，并推荐用它获得更多控制与更快的生成速度^[1]。

本地运行的门槛被压得较低：Stability 称该模型可在显存低于 10 GB 的消费级显卡上运行^[4]，并称发布时的最终显存占用约为 6.9 GB^[1]。

在发展中的位置

adoption 很快。到 2022 年 10 月 17 日，Stability 称该模型已被超过 20 万名开发者下载并获得授权^[6]。它也成为后续模型的起点：后继系列包括 2022 年 11 月的 Stable Diffusion 2.0，以及 SDXL——SDXL 的论文（2023 年 7 月）描述了一个规模大三倍的 UNet 骨干，并增加了第二个文本编码器^[7]。