LAION-5B：面向下一代图文模型的开源大规模数据集

要解决的问题

大规模视觉语言模型靠「图像与描述它的文本是否匹配」来学习，要做好这件事，训练数据往往要达到数十亿条图文对的量级。ALIGN、BASIC、GLIDE、Flamingo、Imagen 这些模型背后的团队之所以能研究这个量级的模型，是因为他们手里有这个量级的数据。但这些数据集并不公开，团队之外的研究者拿不到同等规模的数据，也就难以开展大规模语言-视觉模型的研究。LAION-5B 就是为了填补这个空缺而构建的：一个包含数十亿图文对、可公开获取的数据集^[1]。

数据集里有什么

LAION-5B 由 58.5 亿条图像-文本对组成，全部经过 CLIP 过滤^[1]。CLIP 是一个给「图像与配文有多匹配」打分的模型，用它来过滤，就是把图文看起来对不上的条目剔掉、把对得上的留下。这 58.5 亿条中，有 23.2 亿条包含英文文本^[1]。

整个数据集分成三部分：23.2 亿条英文图文对、22.6 亿条多语言图文对，以及 12.7 亿条不属于任何特定语言的图文对^[2]。过滤时，英文部分用的是 OpenAI 的 ViT-B/32 CLIP 模型，其他语言部分用的是多语言版 CLIP ViT-B/32 模型^[2]。

与数据一同发布的东西

这次发布的不只是一堆图文对。它还包括若干最近邻索引（nearest neighbour index），让使用者不必扫描整个集合就能找到与给定图像或文本相似的条目；一个改进过的网页界面，用来浏览数据集并生成子集；以及水印、NSFW 内容和有毒内容的检测分数，方便使用者筛掉自己不要的部分^[1]。

结果

作者报告说，使用这个数据集可以成功复现并微调 CLIP、GLIDE、Stable Diffusion 这类基础模型^[1]。他们还表示，其 OpenCLIP ViT-L/14 模型是 OpenAI 最大 CLIP 模型的第一个开源复现^[2]。

为什么重要

一个模型的能力很大程度上取决于它用什么数据训练，而多年来规模最大的图文数据集只掌握在少数机构手里。通过公开一个达到数十亿量级的数据集，并附带检索数据、切分子集的工具，作者让外部团队能够在同一基础上训练、微调和比较视觉语言模型^[1]。三分结构的意义也在这里：研究者可以根据实验需要，使用英文数据、多语言数据，或不绑定单一语言的数据^[2]。而 OpenCLIP 的结果则说明，公开的数据加上公开的训练方案，足以复现 Closed 的 CLIP 系列中最强的一类模型^[2]。

论文作者为 Christoph Schuhmann、Romain Beaumont、Richard Vencu、Cade Gordon、Ross Wightman、Mehdi Cherti 等共 16 人，于 2022 年 10 月 16 日提交到 arXiv^[1]。