LAION-5B 因 CSAM 链接下架并以 Re-LAION-5B 重新发布

背景

LAION-5B 是一个大规模开放数据集，被用于训练图像模型。它本身不是图片的集合。LAION 的数据集保存的是索引：从 Common Crawl 中整理出来的、指向图片的链接列表，以及这些图片对应的替代文本（alt text）^[1]。所以数据集里存放的是链接，而不是图像文件^[1]。

2023年12月的调查

2023年12月，斯坦福互联网观察站（Stanford Internet Observatory）公布了一项针对 LAION-5B 的调查。调查发现，该数据集——具体是其中包含 4 亿对数据的子集 LAION-5B 400M——至少包含 1,679 条指向非法图像的链接，这些链接抓取自社交媒体帖子和流行的成人网站^[1]。据美联社报道，这份报告促使 LAION 立即移除了该数据集^[2]。LAION 表示将暂时把 LAION-5B 下线^[1]。

报告的建议不止于数据集本身。它建议，在 LAION-5B 上训练过的模型应当被弃用（deprecation），在可行的情况下停止分发^[1]。这条建议来自训练本身的性质：模型一旦从某个数据集中学习过，事后修补数据集并不能修补模型。

Re-LAION-5B

2024年8月30日，LAION 发布了 Re-LAION-5B。LAION 称这是 LAION-5B 的重新发布版本，已经彻底清除了已知的、指向疑似儿童性虐待材料（child sexual abuse material，CSAM）的链接^[1][2]。经过与合作伙伴提供的链接哈希表和图像哈希表比对，共有 2,236 条指向疑似 CSAM 的链接被移除；这一数字涵盖了斯坦福互联网观察站报告中发现的 1,008 条链接^[1]。

Re-LAION-5B 包含约 55 亿个文本—图像对，以 Apache 2.0 许可发布^[1]。

为什么重要

按数据集维护的节奏看，这件事推进得相当快：2023年12月的报告、随后的下架、2024年8月清理后的重新发布^[1][2]。

它把网页规模训练数据的构建与筛查过程放到了公众面前。靠爬取建立的数据集，其干净程度取决于事后施加的过滤；在这个体量上，过滤是通过把链接和图像与合作伙伴提供的哈希表比对来完成的^[1]。被移除的链接总数高于斯坦福报告所列出的数量，并把后者包含在内^[1]，这说明清理所依据的不只是那一份调查报告。

事件也说明，数据集处在一条链条的一端：外部调查报告、下架、清理后的重新发布，以及针对已经用旧版本训练过模型的人的建议。按斯坦福报告的建议，用先前版本训练出的模型属于应被弃用的对象^[1]。对使用者而言，这意味着数据层的一次修正会转化为模型层的工作。

对开放数据集来说，这件事还暴露出链接型索引的一个结构性难点：索引本身只是链接的清单^[1]，而它指向的内容存放在别处，其中可能包含非法材料。清理之后以宽松许可重新发布^[1]，是让这类资源继续被使用的一种办法。哈希比对依赖外部机构提供的问题清单，而不是逐条审看海量条目，因此清理的覆盖面在很大程度上取决于合作方给出的清单有多完整。