Stability AI 预发布 Stable Diffusion 3

背景

文生图模型做的事，是把一段文字提示变成一张图。这类系统大多属于扩散模型（diffusion model）：网络被训练成一步步去除噪声，于是从随机噪声出发，逐渐得到一个符合提示词的画面。系统好不好，取决于负责去噪的那个网络长什么样、怎么训练，也取决于它把提示词里的词和画出的像素对应得有多准。

发布

2024年2月22日，Stability AI 以早期预览（early preview）的形式公布了 Stable Diffusion 3，并设置等待名单（waitlist），而不是直接开放使用。^[1] 公司把它描述为一套参数规模从8亿到80亿不等的模型，同一代模型因此可以提供不同大小的版本。^[1]

参数数量是衡量模型规模的粗略指标，指的是模型学到的权重有多少。更大的模型容量更大，但运行成本也更高；给出从8亿到80亿的区间，等于让使用者在速度和能力之间自行取舍。

技术路线

Stability 表示，这一代模型把扩散 Transformer（diffusion transformer）架构与流匹配（flow matching）结合起来。^[1] 扩散 Transformer 用 Transformer 模块——也就是语言模型里常见的那种基本构件——充当去噪网络，而此前的扩散图像模型通常依赖卷积网络。流匹配则是一种训练方式：模型不只是学习预测加到图像上的噪声，而是学习一条把噪声送往数据的路径，并被训练成沿着这条路径走。

声称的改进

公司列出了三个方面：同时描述多个主体的提示词、整体图像质量，以及拼写，也就是在生成的画面里画出清晰可读的文字。^[1] 多个主体难处理，是因为模型要让几个被描述的东西彼此区分、位置协调；拼写难，是因为字母属于精细细节，必须画得准确，而不能只画得「看起来像」。

安全

Stability 表示，它从训练阶段起就考虑安全问题，并在测试、评估和部署过程中采取了合理措施，防止被恶意滥用；预览版本还附加了防护手段。^[1]

技术论文

2024年3月5日，一篇技术论文随后出现在 arXiv 上，题为《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》。^[2] 论文把整流流（rectified flow）描述为一种生成模型形式，它用一条直线把数据与噪声连接起来；论文还提出了一个用于文生图的 Transformer 架构，允许图像词元（token）与文本词元之间双向流动信息。^[2] 所谓双向，是指文本词元可以关注图像词元，图像词元也可以关注文本词元，文字与像素因此一起被调整，而不是固定一边、生成另一边。

意义

这次预览把两个思路放到了 Stability 下一代图像模型的中心位置：Transformer 主干，以及基于流的训练目标；公司也在不久后用一篇论文说明了方法。^[1][2] 以分阶段的预览形式发布、配合等待名单与附加防护，也定下了这家公司介绍该模型时的做法：先限制访问范围，并把安全措施写成从训练阶段就开始的一环。^[1]