Stable Diffusion 3

是什么

Stable Diffusion 3 是 Stability AI 开发的 Stable Diffusion 系列文生图模型。2024年2月22日，公司以早期预览的形式宣布该模型，称其为公司最强的文生图模型。预览期间需要通过候补名单申请使用。^[1]

由来

宣布的模型组合参数规模从8亿到80亿不等。该模型把扩散 Transformer 架构与流匹配（flow matching）结合起来。扩散 Transformer 使用 Transformer 取代早期 Stable Diffusion 模型所用的卷积 U-Net；Transformer 是一种基于注意力机制的网络结构，在语言模型中被广泛使用。流匹配则是一种训练方法，学习从噪声到图像之间的直接路径。^[1]

技术论文《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》于2024年3月5日发布在 arXiv 上，作者为 Patrick Esser、Robin Rombach 等15人。^[2]

整流流（rectified flow）是一种训练生成模型的方法，让模型学习从随机噪声到数据之间近似直线的路径。路径越直，生成通常所需的步数越少。Transformer 会把输入切分为令牌；在这一设计中，图像令牌与文本令牌各自形成一条数据流，并相互交换信息。

主要特点

Stability 表示，该模型在多主体提示词、图像质量和拼写方面都有改进。^[1]

论文描述了一种 Transformer 设计：图像令牌与文本令牌各自拥有独立的权重，二者之间存在双向的信息流动。论文报告称，这一设计在文本理解、排版以及人类偏好评分方面表现更好。Stability 将这一设计称为多模态扩散 Transformer（Multimodal Diffusion Transformer，MMDiT）。^[2][4]

在发展中的位置

2024年6月12日，参数为20亿的 Stable Diffusion 3 Medium 开放了权重，发布在 Hugging Face 上，页面名为 stabilityai/stable-diffusion-3-medium。^[3] 因此，Stable Diffusion 3 既是一整套大模型组合的预览，也是较小的开放版本的基础。^[3]