Stability AI 公开发布 Stable Diffusion

背景

文生图是指根据一段文字描述生成图片的任务。Stable Diffusion 属于扩散模型（diffusion model）家族，这类模型学习把随机噪声通过许多小步的去噪过程逐渐变成图像。它采用的是潜在扩散模型（latent diffusion model）的设计：不直接在每个像素上运算，而是在图像的压缩数学表示中进行扩散，从而降低所需的计算量。该方法的论文发表于计算机视觉会议 CVPR 2022。

发生了什么

2022年8月22日，Stability AI 公开发布了 Stable Diffusion，模型权重、模型卡和代码都发布在 Hugging Face 上。^[1][2] 在此之前，Stability 曾在8月10日宣布先向研究人员进行第一阶段发布。^[1][2]

Hugging Face 将该模型描述为由 CompVis、Stability AI 和 LAION 的研究人员与工程师共同创建。Stability 的发布公告还致谢了 Runway、慕尼黑大学（LMU Munich）的 Machine Vision & Learning 研究组，以及 EleutherAI。^[3][2]

关键细节

模型结构包括一个参数量为8.6亿（860M）的 UNet，这是一种在每一步预测并去除噪声的神经网络；另有一个参数量为1.23亿的 CLIP ViT-L/14 文本编码器，训练时保持冻结（frozen），即权重不再更新。文本编码器把提示词转换为数字表示，用来引导生成过程。^[4][5]

训练图像为512x512像素，取自 LAION-5B 数据库的一个子集。Stability 将 LAION-Aesthetics 称为核心数据集。^[4][2]

Stability 称，该模型可以在显存（VRAM）不足10 GB 的消费级 GPU 上运行。训练使用的是其 Ezra-1 集群，由4,000块 A100 GPU 组成。公开发布之前，一万多名内测用户每天生成170万张图像。^[2]

模型权重采用 CreativeML OpenRAIL-M 许可证。该许可证允许商业与非商业使用，但附带使用限制，且再分发时必须把这些限制一并传递给接收者。^[1]

公开版本包含一个基于人工智能的安全分类器，并默认开启。Stability 同时提供了其 DreamStudio 服务。^[1]

模型所依据的方法来自论文《High-Resolution Image Synthesis with Latent Diffusion Models》，作者为 Robin Rombach、Andreas Blattmann、Dominik Lorenz、Patrick Esser 和 Björn Ommer，发表于 CVPR 2022。^[6]

影响

这次发布的意义在于权重、代码和许可证同时公开。只要硬件条件合适，任何人都可以在本地运行这个模型，而不必只依赖托管服务；许可证也对商业与非商业用途给出了明确条款。内测用户的规模和每日生成量显示，公开发布之前，人们的兴趣已经很大。^[1][2]