Common Crawl 网络爬取语料库

是什么

Common Crawl 是一家非营利性的 501(c)(3) 机构，它抓取网页，并把抓到的存档和数据集免费提供给公众^[1]。它的语料库（corpus）体量达到 PB（petabyte，1 PB 约为 1000 TB）级，并且自 2008 年起持续收集^[2]。所谓网页抓取，就是由自动程序沿着链接在公开网络上逐页访问，把页面内容存下来。Common Crawl 把这些抓取的结果按批次发布，每一批用一个代号标识，例如 CC-MAIN-2026-43^[2]。它发布的是原始页面存档，而不是经过人工整理的精选集合，所以使用者拿到数据之后，通常要自己完成过滤、去重和清洗这些步骤。

由来

这个项目由 Gil Elbaz 于 2007 年在旧金山创立，同一年就开始存档网站^[1]。语料库从 2008 年起持续收集^[2]，但项目直到 2011 年才开始对外发布抓取结果^[1]。也就是说，在最初几年里，存档积累的速度快于它被公开分发的速度，如今人们熟悉的那批公开数据集，是从 2011 年这个起点开始的。

数据怎么拿到

数据在 Amazon Web Services 上可以免费访问，不过使用者自己会产生存储和计算方面的费用^[1]。换句话说，存档本身不要钱，账单落在那些要下载大量数据并加以处理的人身上。这一点很关键：处理 PB 级的网页，需要在用户一侧准备相当规模的计算资源。这个模式更接近一座存放原材料的公共图书馆，而不是一件成品——机构负责维护和发布这批材料，工具由使用者自备。

谁在用

在很长一段时间里，这批数据主要由研究人员和一些创业公司使用^[1]。到了 2020 年代，情况发生变化：AI 公司开始用这些数据训练大语言模型（large language model）^[1]。大语言模型从海量文本中学习语言统计规律，而覆盖面广的公开网页正是获取这种规模文本的途径之一。于是一个最初为了保存网页副本而发起的项目，实际上成了另一项技术的上游供应环节。

2025 年 11 月的调查

2025 年 11 月，《大西洋月刊》（The Atlantic）的一项调查显示，Common Crawl 在两点上误导了出版商：它声称抓取时尊重付费墙（paywall），并且没有执行移除请求^[1]。付费墙是指把内容放在订阅之后、不付费就看不到的做法；移除请求则是内容方要求把自己的材料从数据集中去掉。这件事之所以重要，是因为这类存档的价值建立在一份简单的约定之上：材料被收集并公开再分发，同时网站被告知自己的意愿会如何被对待。调查对这两方面的说法都提出了质疑^[1]。

在大模型时代的位置

Common Crawl 正好处在网页存档与机器学习的交叉点上。作为公开网页的通用记录，它面向所有使用者；而让它对训练模型有用的，恰恰也是同一组属性——规模巨大、覆盖面广、可以免费获取的文本。它的经历也显示出随之而来的紧张关系：费用落在使用者而不是存档机构一侧^[1]，而被复制内容的网站究竟有没有发言权，则是一个长期争论的问题。想弄清现代 AI 系统背后的文本从哪里来，Common Crawl 是最具体、最清楚的答案之一。