数据与数据集 论文

C. E. Shannon 1948年的论文为通信建立了数学框架，以比特度量信息，提出信道容量与熵，并把消息视为从可能集合中选出的对象，而非语义内容。

这篇 1992 年的论文由 Boser、Guyon 和 Vapnik 提出一种训练算法，最大化训练样本与决策边界之间的间隔，并在光学字符识别实验中检验其泛化表现。[^1]

Sergey Brin 与 Lawrence Page 于 1998 年发表的会议论文，提出按指向网页的链接数量与质量排序的 PageRank 算法，并据此搭建了 Google 搜索引擎。

一个生成式概率模型，把每篇文档表示为对一组主题的有限混合，用变分近似推断与 EM 算法拟合，并在文档建模、文本分类和协同过滤上做了评测。

2009年的这篇论文提出了ImageNet，一个规模大、标注清晰、按WordNet层级组织的图像数据库，后来成为ILSVRC竞赛的基础。

2011 年 Glorot、Bordes 与 Bengio 的论文，报告由整流神经元构成的深度网络性能不逊于 tanh 网络，并且在标注数据充足的纯监督任务上无需无监督预训练即可达到最佳表现。

GloVe 是 2014 年提出的一种词向量方法，通过分解全局词共现矩阵来学习词表示；它与 word2vec 同年出现，成为静态词向量的两种标准做法之一。

2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。

这篇 2023 年的论文提出 Segment Anything 项目：一个可提示的分割任务、一个模型，以及包含 1100 万张图像上 10 亿多个掩码的数据集，并把模型与数据一并公开，以推动计算机视觉基础模型研究。

一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。

这是一篇 1992 年由 Watkins 与 Dayan 发表的技术札记，提出了 Q 学习：一种计算量小、增量式的学习最优动作价值的方法，并证明它在特定条件下以概率 1 收敛到最优值。

Corinna Cortes 与 Vladimir Vapnik 1995年的论文提出支持向量网络：将输入非线性映射到高维特征空间并构造线性决策面，把方法从完全可分数据扩展到非可分数据。

杨立昆等人1998年的综述主张，学习系统应取代人工设计的特征。它表明LeNet-5等卷积网络在手写数字上优于其他方法，并引入了MNIST数据集。

Brin 和 Page 的 PageRank 技术报告把超链接当作引用，用链接结构为网页排序，并用于构建 Google 搜索引擎；它是描述两人早期工作的两篇被高度引用论文之一。

Breiman 2001 年的论文把随机森林定义为多棵依赖随机向量的树的组合，分析其泛化误差与树强度和相关性的关系，并报告其错误率与 Adaboost 相当且更抗噪声。

Google 的 Dean 与 Ghemawat 于 2004 年发表论文提出 MapReduce：用户只写 map 与 reduce 函数，系统自动在廉价机器集群上并行执行。

Alex Krizhevsky 于 2009 年撰写的技术报告，提出 CIFAR-10 与 CIFAR-100，并研究用多层生成模型从小图像中学习特征。

2014 年发表的论文，提出 Microsoft COCO 数据集：以日常复杂场景为对象，用逐实例分割标注常见物体，把物体识别放进场景理解的大框架里。

SQuAD 是一个阅读理解数据集，包含 10 万多个由众包工人针对维基百科文章提出的问题，每个问题的答案都是原文中的一段文字。它于 2016 年发布，免费开放，并给出了可对照的人类成绩上限。

GLUE 是一个基准与分析平台，用一组多样的既有自然语言理解任务来评测模型，配有在线对比平台和人工编写的诊断测试集，用于细致的语言学分析。

SuperGLUE 是 2019 年发布的通用语言理解基准，作为 GLUE 的更难继任者：八项任务、单一指标、分析工具包与公开排行榜。

2019 年的一篇论文，把各类语言任务统一为文本到文本，系统比较迁移学习选择，发布 C4 语料与模型，并在摘要、问答、文本分类等基准上取得当时最优结果。

The Pile 是 EleutherAI 于2020年12月31日发布的 825 GiB 英文文本数据集，由22个数据源组成，并附有一篇 arXiv 论文。多个该团体的开放模型都用它训练。

2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。

DeepMind 的一项研究指出，固定算力下语言模型应当用多得多的数据训练；其 700 亿参数的 Chinchilla 在同算力下胜过了更大的模型。

LAION-5B 是一个公开的图文对数据集，包含 58.5 亿条经 CLIP 过滤的图像-文本对，目的是让少数实验室之外的研究者也能研究和复现大规模视觉语言模型。

2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。

2023 年发表于《自然》的一篇论文，报告了一套用于材料发现的规模化深度学习方案：预测出 220 万个位于凸包之下的结构，并把稳定性预测的成功率从约 50% 提升到 80%。

一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。

FineWeb 是从 96 个网络快照构建的 15 万亿 token 预训练数据集，公开了处理代码与实验模型；教育子集 FineWeb-Edu 在知识推理基准上表现更好。

1993 年论文，作者 Marcus、Santorini 与 Marcinkiewicz，介绍宾夕法尼亚树库：一百多万词《华尔街日报》文本带句法括号标注。

Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。

RedPajama 是一个开源项目，第一步是把 LLaMA 的训练数据集复现出来，以「洁净室」方式完整开源了 1.2 万亿 token 的语料。

Dolma 是一个公开发布的英文语料库，规模约三万亿词元，由网页文本、论文、代码、书籍、社交媒体与维基百科混合而成；配套论文同时记录了数据集本身和整理流程。

一个 8TB 的公共领域与开放许可文本数据集，用于大语言模型预训练；作者同时发布两个在该数据上训练的 70 亿参数模型，用以证明这批数据够用。