Stability AI 发布 Stable Diffusion 2.0

背景

Stable Diffusion 通过多个部分协同工作，把文字提示词变成图像。其中之一是文本编码器，它把提示词转换为数字。更换编码器，就会改变图像模型理解文字的方式。另一个关键部分是训练数据，它决定模型学会画哪一类图片。这两项选择都会影响最终结果，而2.0版本的发布正是对这两方面都做了调整。

发生了什么

2022年11月24日，Stability AI 以开源方式发布了 Stable Diffusion 2.0。^[1] 此次发布用 OpenCLIP 取代了原有的 CLIP 文本编码器。OpenCLIP 由 LAION 在 Stability 的支持下开发。^[1]

新版本默认生成512x512和768x768像素的图像。它还新增了一个4倍放大器（upscaler）、一个由深度信息引导的 depth2img 模型，并更新了修补（inpainting）模型。^[1]

训练数据过滤器相当于一个分类器：它为数据集中的每张图片或每条文字打分，并剔除低于设定阈值的样本。过滤发生在训练之前，因此过滤器的设置既决定模型学会画什么，也决定某些主题在训练中出现得多还是少。修改过滤器，实际上是在改变模型的输出倾向，而不仅仅是改动数据集本身。

关键细节

训练数据是 LAION-5B 的一个美学子集，并使用 LAION 的 NSFW 过滤器去除了成人内容。^[1]

2022年12月7日，Stable Diffusion 2.1 随之发布。它的 NSFW 过滤有所放宽，目的是改善模型对人物的呈现。^[2]

影响

2.0版本表明，开源发布可以把新的文本编码器、新的过滤器以及放大、深度引导生成等新能力整合在同一个版本里。随后的2.1版本则调整了过滤器，因为人们发现，第一版的做法从数据中去掉了太多人物。^[1][2]