研究史 论文

图灵1936年的这篇论文用一台抽象机器定义了「可计算数」，这台机器后来被称为图灵机；论文还证明，不存在能判定任意数学命题是否可证的通用方法。

1943年，麦卡洛克与皮茨描述了一个简化的神经元模型，并证明由这种单元组成的网络可以进行逻辑推理，这是大脑模型与计算之间的早期联系。

C. E. Shannon 1948年的论文为通信建立了数学框架，以比特度量信息，提出信道容量与熵，并把消息视为从可能集合中选出的对象，而非语义内容。

1950年，图灵在《计算机器与智能》中以「模仿游戏」取代了「机器能思考吗」这个他认为过于模糊的问题，即后来的图灵测试，并逐一回应了对机器智能的主要反对意见。

1958年，弗兰克·罗森布拉特描述了感知机：它的连接强度随训练而改变，从而通过试错学会对刺激分类。它成为可训练神经网络的起点。

麦卡锡 1959 年的论文提出「建议接受者」：一个在形式语言中操作句子来解题、推出祈使句便执行相应动作的程序，被视为逻辑式人工智能的早期纲领。

A. L. Samuel 1959 年发表的论文，报告用跳棋进行的机器学习实验：程序只拿到游戏规则和一组符号、权重均未知的参数，在 8 到 10 小时的机器对弈时间里学会下棋，并胜过了写它的人。

Marvin Minsky 1961 年发表于《Proceedings of the IRE》的综述，把启发式编程分为搜索、模式识别、学习、规划与归纳五个领域，并指出机器需要借助归纳建立环境的模型。

《Perceptrons》是 Marvin Minsky 与 Seymour Papert 于 1969 年出版的著作，用数学证明划定单层感知机的计算边界，长期被认为影响了 20 世纪 70 年代神经网络研究的走向。

1982 年约翰·霍普菲尔德（John J. Hopfield）的论文提出，大量简单神经元式单元组成的网络能集体存储与取回记忆。该模型后来被称为霍普菲尔德网络，相关工作获 2024 年诺贝尔物理学奖肯定。

John J. Hopfield 于 1982 年发表的论文，主张有用的计算能力可以作为大量简单等价单元的集体性质涌现出来，并给出一个模型：其集体行为带来内容寻址记忆、泛化与纠错等能力。

1986年，鲁梅尔哈特、辛顿和威廉姆斯在《Nature》上发表论文，证明反向传播能让多层网络中的隐藏单元学会任务的有用内部特征。如今，这一方法是大多数神经网络的标准做法。

理查德·萨顿1988年的论文提出时序差分学习：用相邻两次预测之差分配信用的增量式预测方法，比传统方法更省内存、预测更准。

Rodney Brooks 在 1990 年的这篇论文中主张从底层出发造人工智能：把与环境持续进行的物理互动当作设计智能系统的主要约束，而不是沿用此前约三十年主导领域的抽象符号操作。

这篇 1992 年的论文由 Boser、Guyon 和 Vapnik 提出一种训练算法，最大化训练样本与决策边界之间的间隔，并在光学字符识别实验中检验其泛化表现。[^1]

这篇 1997 年的论文提出了带门控的记忆单元和「恒定误差传送带」，使循环网络能跨越很长的时间间隔学习，塑造了 Transformer 出现前的许多模型。

Sergey Brin 与 Lawrence Page 于 1998 年发表的会议论文，提出按指向网页的链接数量与质量排序的 PageRank 算法，并据此搭建了 Google 搜索引擎。

一个生成式概率模型，把每篇文档表示为对一组主题的有限混合，用变分近似推断与 EM 算法拟合，并在文档建模、文本分类和协同过滤上做了评测。

2006 年，Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络，再做整体微调；所得带三个隐藏层的模型既能生成手写数字，分类效果也很好。

2009 年 ICML 论文，作者为 Rajat Raina、Anand Madhavan 与 Andrew Y. Ng，用图形处理器训练深度信念网络与稀疏编码模型，速度比多核 CPU 快数十倍。

2009年的这篇论文提出了ImageNet，一个规模大、标注清晰、按WordNet层级组织的图像数据库，后来成为ILSVRC竞赛的基础。

这篇2010年的论文分析深度前馈网络为何难以训练：S 型激活函数在随机初始化下容易饱和，各层雅可比矩阵的奇异值远离1时训练更难；作者据此提出一种收敛明显更快的新初始化方案。

这篇论文用逐像素分类的方法，从单幅深度图像直接得到三维关节点位置，不使用时间信息，在消费级硬件上达到每秒 200 帧，获 CVPR 2011 最佳论文。

2011 年 Glorot、Bordes 与 Bengio 的论文，报告由整流神经元构成的深度网络性能不逊于 tanh 网络，并且在标注数据充足的纯监督任务上无需无监督预训练即可达到最佳表现。

2012年的NeurIPS论文提出了AlexNet，这是一个在GPU上训练的大型卷积神经网络，并在ILSVRC-2012竞赛中夺冠。

Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。

Bahdanau、Cho 与 Bengio 2014 年的这篇论文让翻译模型在生成每个词时回看整个源句，这一注意力（attention）机制后来成为 Transformer 的基础之一。

这篇 2014 年的论文证明：把大量 3×3 的小卷积核堆到 16–19 个权重层，能提升大规模图像识别；其模型在 ImageNet Challenge 2014 上拿下定位赛道第一、分类赛道第二，并对外公开。

Sutskever、Vinyals 与 Le 2014 年的这篇论文表明，两个 LSTM 可以完成翻译并超过基于短语的基线，确立了后来翻译模型常用的编码器-解码器模式。

2014 年的论文，提出 Inception 架构以及用它搭成的 22 层网络 GoogLeNet，在 2014 年 ImageNet 挑战赛的分类与检测任务上取得最好成绩，top-5 错误率 6.67%。

GloVe 是 2014 年提出的一种词向量方法，通过分解全局词共现矩阵来学习词表示；它与 word2vec 同年出现，成为静态词向量的两种标准做法之一。

Adam 是 Diederik P. Kingma 与 Jimmy Ba 在 2014 年论文中提出的随机优化算法：用梯度一阶矩与二阶矩的滑动估计为每个参数自适应地确定步长，内存开销小、超参数通常无需太多调整。

2015年，LeCun、Bengio 与 Hinton 在《自然》发表综述，说明多个处理层组成的模型如何学习分层数据表示，并梳理语音、图像等领域的成果。

2015 年《自然》论文中，Mnih、Silver 等人用同一个深度 Q 网络智能体，仅凭像素和分数就在 49 款 Atari 游戏上达到职业人类测试员水平。

2016 年的论文，Zoph 与 Le 用强化学习训练的循环网络自动生成神经网络结构，在 CIFAR-10 上媲美人类最佳设计，在 Penn Treebank 上超过 LSTM。

Mask R-CNN 是 2017 年提出的物体实例分割框架，在检测物体的同时为每个实例生成高质量掩码，通过给 Faster R-CNN 增加并行掩码分支实现。

2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。

DeepMind 的 AlphaGo Zero 从随机落子开始，只靠自我对弈学会围棋，训练三天便以 100 比 0 击败此前击败人类冠军的 AlphaGo 版本。相关论文于 2017 年 10 月发表在《自然》。

这是 Matthew E. Peters 等六位作者 2018 年的论文，用预训练的深层双向语言模型内部状态表示词，使向量随语境变化；把它加到已有模型上，在六个自然语言处理任务上提升了成绩。

OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。

Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。

NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。

Francois Chollet 于 2019 年发表的论文，把智能定义为技能获取效率，并提出抽象与推理语料库（ARC）——一套只依赖核心知识、不需要专门领域知识和语言的网格任务基准。

2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。

2020 年的一篇论文，把预训练的序列到序列模型与一个由神经检索器查询的维基百科稠密向量索引结合起来，在三个开放域问答任务上取得当时最好成绩。

2020 年发布的一个评测基准，用 57 个学科（从初等数学到法律）的题目考察语言模型，结果显示当时最大的模型也远未达到专家水平。

这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。

2021 年，Fedus、Zoph 与 Shazeer 简化了混合专家模型的路由算法，使语言模型在参数量扩展到万亿级别时，每个样本的计算开销仍然保持恒定。

一篇2021年FAccT论文，作者为Bender、Gebru、McMillan-Major和Shmitchell，追问语言模型是否会过大，并就成本、数据、研发目标与替代研究方向提出建议。

LoRA 是一种微调方法：冻结预训练模型的权重，只在各层注入并训练小型低秩矩阵，从而把可训练参数和显存需求降低几个数量级。

2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。

Nature 论文介绍了 AlphaFold 用于蛋白质结构预测的方法、系统设计和评估。

2021 年的一篇论文提出「指令微调」：把大量任务用自然语言指令描述后再微调语言模型，模型在没见过的任务上零样本表现大幅提升，并在多数评测任务上超过更大的模型。

2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。

FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。

ReAct 是一种提示方法：让语言模型把写出来的推理与调用外部工具或环境的行动交替进行，在问答、事实核查和交互式决策任务上都取得改进。

LLaMA 是参数规模 7B 至 65B 的基础语言模型系列，仅用公开数据集训练；13B 模型在多数基准上超过 GPT-3，且全部模型向研究社区发布。

OpenAI 于 2023 年 3 月提交到 arXiv 的 GPT-4 技术报告，描述了一个大规模多模态 Transformer 模型，给出了多项专业基准上达到人类水平的结果，并说明了团队如何让规模化行为变得可预测。

这篇 2023 年的论文提出 Segment Anything 项目：一个可提示的分割任务、一个模型，以及包含 1100 万张图像上 10 亿多个掩码的数据集，并把模型与数据一并公开，以推动计算机视觉基础模型研究。

2023 年的一篇论文把人类反馈强化学习的优化目标改写成一个简单的分类损失，让语言模型不必依赖独立的奖励模型和强化学习就能对齐人类偏好。

这是一篇 2023 年 7 月由 Hugo Touvron 领衔、Meta 多位作者完成的论文，提出并发布了参数量从 70 亿到 700 亿的 Llama 2 系列预训练与微调模型，并详细说明了对话版本如何微调、如何提升安全性。

一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。

Mamba 是 Albert Gu 与 Tri Dao 提出的一种序列建模架构，用选择性状态空间替代注意力，实现线性时间与更快推理，语言建模表现可与两倍规模的 Transformer 相比。

Mixtral 8x7B 是 Mistral AI 的稀疏专家混合语言模型，每层由路由器为每个词元挑选 2 个专家，总共可访问 47B 参数，推理时只用到 13B。

Google Gemini 团队的一份报告，介绍以超长上下文为核心的多模态模型 Gemini 1.5 系列，其中 Gemini 1.5 Pro 可在最多 1000 万 token 的上下文中回忆信息。[^1]

Meta 2024 年的论文，把 Llama 3 描述为一组基础模型（80 亿、700 亿和 4050 亿参数），预训练语料约 15 万亿 token，并报告其在广泛任务上与 GPT-4 等领先模型质量相当。

2025 年的一篇论文提出 ARC-AGI-2 基准：用输入—输出配对任务测量前沿 AI 的抽象推理能力，并给出人类测试基线，让分数能更细致地反映进展。

1966年1月，Joseph Weizenbaum 发表论文，介绍在 MIT 的 MAC 分时系统上运行的 ELIZA：它用关键词触发的分解规则和重组规则，实现某些人机自然语言对话。

1985年，Ackley、Hinton 与 Sejnowski 在《Cognitive Science》发表论文，提出一种修改连接强度的通用学习规则，并用简单例子展示网络能从样本中形成结构高效的内部表示。

ALVINN 是一个三层反向传播网络，以摄像头与激光测距仪的图像为输入、输出车辆应行驶的方向，用模拟道路图像训练，并在卡内基梅隆大学的自主导航测试车上做了验证。

1989年，杨立昆与同事在AT&T贝尔实验室用反向传播训练卷积网络，识别美国邮件上手写的邮政编码数字，测试错误率为5.0%。这项工作表明，卷积结构可以在真实任务中端到端地学习。

这是一篇 1992 年由 Watkins 与 Dayan 发表的技术札记，提出了 Q 学习：一种计算量小、增量式的学习最优动作价值的方法，并证明它在特定条件下以概率 1 收敛到最优值。

Gerald Tesauro 1992 年的论文以自对弈西洋双陆棋为案例，检验时序差分学习能否解决复杂现实任务。

Corinna Cortes 与 Vladimir Vapnik 1995年的论文提出支持向量网络：将输入非线性映射到高维特征空间并构造线性决策面，把方法从完全可分数据扩展到非可分数据。

MNIST 是一个包含 60,000 张训练图像和 10,000 张测试图像的手写数字数据库，图像被归一化为 28×28 像素；它与 LeCun 等人 1998 年的论文一起，成为文档识别研究的共同基准。

杨立昆等人1998年的综述主张，学习系统应取代人工设计的特征。它表明LeNet-5等卷积网络在手写数字上优于其他方法，并引入了MNIST数据集。

Brin 和 Page 的 PageRank 技术报告把超链接当作引用，用链接结构为网页排序，并用于构建 Google 搜索引擎；它是描述两人早期工作的两篇被高度引用论文之一。

Breiman 2001 年的论文把随机森林定义为多棵依赖随机向量的树的组合，分析其泛化误差与树强度和相关性的关系，并报告其错误率与 Adaboost 相当且更抗噪声。

Yoshua Bengio 等人 2003 年的这篇论文为每个词学习向量，并与预测下一个词的网络一起训练，引入了词嵌入的核心思想。

Google 的 Dean 与 Ghemawat 于 2004 年发表论文提出 MapReduce：用户只写 map 与 reduce 函数，系统自动在廉价机器集群上并行执行。

CIFAR-10 与 CIFAR-100 是从 8000 万张小图像数据集中抽出的带标签子集。CIFAR-10 含 10 类、共 60000 张 32×32 彩色图像。

Alex Krizhevsky 于 2009 年撰写的技术报告，提出 CIFAR-10 与 CIFAR-100，并研究用多层生成模型从小图像中学习特征。

2010年 NIPS 论文，Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模，在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。

2011 年的一篇 workshop 论文，介绍 Torch7：一个扩展 Lua 的数值计算框架与机器学习库，用轻量脚本语言换灵活性，用底层优化内核换速度。

2011 年《机器学习研究杂志》论文提出一套统一的神经网络架构与学习算法，以大量无标注语料学习表示，用极少任务专用工程完成词性标注、组块分析、命名实体识别和语义角色标注。

2012年，Quoc Le、Andrew Ng 等人在谷歌用1000台机器训练大规模无监督神经网络，在没有标注人脸的图像上学会了检测人脸。

2012年发表于 IEEE Signal Processing Magazine 的文章，汇集四个研究组的共同观点，说明用深度神经网络替代高斯混合模型做语音识别声学建模，在多项基准上效果更好。

谷歌的 Tomas Mikolov 等人 2013 年提交的这篇论文提出 CBOW 和 Skip-gram 两种简单结构，能快速从海量文本学习词向量，是 word2vec 的基础。

2013年论文提出连续 Skip-gram 等高效学习词与短语分布式向量表示的方法，并给出提升向量质量与训练速度的扩展。

R-CNN 把卷积神经网络用于区域提议做目标检测，在 PASCAL VOC 2012 上平均精度均值达 53.3%，比此前最好结果高出 30% 以上[^1]。

Zeiler 与 Fergus 提出可视化卷积网络中间层的技术，并用消融实验找到在 ImageNet 上超越 Krizhevsky 等人的架构。

2013 年，Mnih 等人用 Q 学习变体训练卷积网络，直接以像素为输入学会玩七款 Atari 2600 游戏，六款胜过旧方法，三款胜过人类专家。

Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文，提出一种随机变分推断与学习算法，使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。

DeepFace 是 2014 年的人脸验证系统，重新设计了对齐与表示两个环节，用一个 1.2 亿多参数的九层网络在 Labeled Faces in the Wild 上达到 97.35% 的准确率。

2014 年的一篇论文提出 Dropout：训练时随机丢弃神经元，让大型神经网络不易过拟合，并在视觉、语音等领域的多项基准上取得当时最好的结果。

2014 年发表的论文，提出 Microsoft COCO 数据集：以日常复杂场景为对象，用逐实例分割标注常见物体，把物体识别放进场景理解的大框架里。

一篇2014年的谷歌论文，提出Inception架构；其GoogLeNet在固定计算预算下加深加宽网络，在ILSVRC 2014分类与检测任务上刷新当时最好成绩。

这篇 2014 年的论文把神经网络与外部记忆耦合起来，网络通过注意力读写记忆；整个系统端到端可微，因此可以用梯度下降训练。

2014年的一篇论文提出端到端深度学习语音识别系统，省去手工设计的噪声模块和音素词典，依靠多GPU训练的循环网络与合成数据。

2015 年 Sergey Ioffe 与 Christian Szegedy 提出的方法：对每一层的输入按训练小批量做归一化，从而可以用更大的学习率、更随意的初始化，并大幅加快深度网络的训练。

2015 年 5 月提交到 arXiv 的生物医学图像分割卷积网络，能用极少的标注图像端到端训练，并在 ISBI 细胞追踪挑战赛 2015 的各个类别中夺冠。

2015 年论文提出与检测网络共享卷积特征的区域建议网络，使候选区域生成几乎无额外成本，实现端到端训练；在 GPU 上达到每秒 5 帧，并在多个基准上取得当时最好精度。

2015 年的 YOLO 论文把目标检测改写为单个神经网络对边界框和类别概率的回归，实现实时检测，并减少空白背景上的误检。

2015 年的论文提出 YOLO，把目标检测视为从图像像素直接回归边界框和类别概率的单一问题。一个神经网络一次评估即可完成预测，达到实时速度。

2015年的这篇论文提出了残差网络，通过捷径连接把每一层的输入加回到输出上。它让超过一百层的网络能够训练，并在2015年的多项ILSVRC和COCO任务中夺得第一名。

2016年《自然》论文介绍了AlphaGo，它结合深度神经网络与树搜索。2015年10月，其分布式版本以5比0击败职业棋手樊麾，首次在不让子的全尺寸围棋中战胜职业棋手。

论文分析残差块中的信号传播：用恒等映射作跳跃连接、激活放在相加之后，信号就能在任意两个块之间直接传递；新提出的残差单元更易训练，1001 层网络在 CIFAR-10 上错误率 4.62%。

SQuAD 是一个阅读理解数据集，包含 10 万多个由众包工人针对维基百科文章提出的问题，每个问题的答案都是原文中的一段文字。它于 2016 年发布，免费开放，并给出了可对照的人类成绩上限。

2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。

2017 年的论文，展示了 AI 智能体可以从人类对行为的简短比较中学习任务，而无需手写奖励。这一方法即基于人类反馈的强化学习，后来成为训练聊天助手的核心步骤。

2017年，Schulman 等五人提出近端策略优化（PPO），一种更易实现和调参的强化学习算法；OpenAI 后来将其作为默认强化学习算法。

2017年论文，作者为 Tsung-Yi Lin 等五人。它把密集单阶段检测器的精度差距归因于前景与背景的极端类别不平衡，并提出降低已分类良好样本损失权重的焦点损失。

mixup 是 2017 年一篇论文提出的训练原则：把两个样本及其标签按同一比例混合成新样本训练神经网络，在图像、语音和表格数据上提升了模型的泛化能力。

这是 van den Oord、Vinyals 与 Kavukcuoglu 在 2017 年提出的 VQ-VAE：一种潜在编码为离散而非连续、先验由学习而非固定的生成模型，让无监督地学到有用表示成为可能。

2017 年挂在 arXiv、后于 Science 发表的论文：同一个自我对弈强化学习算法 AlphaZero 学会了国际象棋、将棋和围棋，并在三种棋里都战胜了强力的专门程序。

ULMFiT 是 Howard 与 Ruder 在 2018 年提出的通用语言模型微调方法，用于 NLP 任务；在六个文本分类任务上超过当时最先进水平，并在少标签下表现突出。

GLUE 是一个基准与分析平台，用一组多样的既有自然语言理解任务来评测模型，配有在线对比平台和人工编写的诊断测试集，用于细致的语言学分析。

2018 年的论文用神经网络参数化隐藏状态的导数，取代固定层序列，输出由微分方程求解器算出，得到常数内存开销的连续深度模型。[^1]

SuperGLUE 是 2019 年发布的通用语言理解基准，作为 GLUE 的更难继任者：八项任务、单一指标、分析工具包与公开排行榜。

XLNet 是一种广义自回归预训练方法：它通过最大化所有分解顺序排列的期望似然来学习双向语境，并在可比实验设置下于 20 项任务上优于 BERT。

RoBERTa 是对 BERT 预训练的复现研究：系统测量关键超参数与训练数据规模的影响，发现 BERT 训练明显不足，妥善训练后即可匹敌或超过此后发表的模型，并在 GLUE、RACE、SQuAD 上取得最好成绩。

2019 年的一篇论文，把各类语言任务统一为文本到文本，系统比较迁移学习选择，发布 C4 语料与模型，并在摘要、问答、文本分类等基准上取得当时最优结果。

MuZero 是 DeepMind 提出的强化学习算法，它自己学出一个环境模型，并在该模型中做规划，在不被告知规则的情况下掌握了 Atari、围棋、国际象棋和将棋。

2020 年由 Clark、Luong、Le 与 Manning 提出的预训练方法：让模型判断哪些词被替换过，而不是填补被遮住的词，用更少的算力达到与大模型相当的效果。

《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。

2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。

The Pile 是 EleutherAI 于2020年12月31日发布的 825 GiB 英文文本数据集，由22个数据源组成，并附有一篇 arXiv 论文。多个该团体的开放模型都用它训练。

2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。

MATH 是包含 12,500 道高难度竞赛数学题的数据集，每题附完整分步解答，于 2021 年发布，用于测量和训练模型的数学推理能力。

2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。

GSM8K 是 OpenAI 发布的一套小学数学应用题数据集，包含 8.5K 道题；配套论文显示，即使最大的 Transformer 模型成绩也不高，而训练验证器、从多个候选解答中挑选正确答案能明显提升表现。

Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。

BIG-bench 是一个由社区共同构建的大型基准，包含 204 个任务，专门用来测试语言模型在被认为超出其当前能力的问题上的表现，相关论文于 2022 年 6 月发布。

2022 年的一篇论文提出，大语言模型的部分能力只在模型规模足够大时才出现，无法由小模型的表现外推预测，因此继续扩大规模可能继续拓展模型的能力范围。

2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。

《宪法式 AI》是 Anthropic 2022 年的论文，提出以书面原则和 AI 反馈代替人工标注有害输出，训练无害的助手。

2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。

2023 年的一篇论文，让语言模型自学决定何时调用计算器、搜索引擎等外部工具，并把返回结果融入后续文本生成。

2023 年 3 月，微软研究者在一篇论文中测试了早期版本的 GPT-4，认为它在众多领域表现出惊人的通用性、接近人类水平，可被视为迈向通用人工智能（AGI）的早期但不完整的一步。

QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。

FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。

WebArena 是可复现的网页环境，含电子商务、社交论坛、协作软件开发、内容管理四类网站，用于测试语言引导的智能体；GPT-4 智能体成功率 14.41%，人类 78.24%。[^1]

GPQA 是包含 448 道选择题的问答基准，题目由生物学、物理学和化学专家撰写，设计成熟练非专家靠上网也答不出；基于 GPT-4 的最强基线正确率只有 39%，而同领域专家达到 65%。

GAIA 是一个面向通用 AI 助手的基准，用对人类简单、对 AI 困难的真实问题，考察推理、多模态、网页浏览和工具使用能力，并以人类平均水平衡量进展。

一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。

OSWorld 是一个面向多模态智能体的基准与环境，在 Ubuntu、Windows 和 macOS 上用 369 个真实计算机任务考察智能体；人类能完成 72.36% 以上，最好的模型只有 12.24%。

Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。

MMLU-Pro 是 2024 年发布的多任务语言理解基准，把以知识为主的 MMLU 改成更偏推理、每题十个选项的更难测试。

τ-bench 是 2024 年 6 月提交到 arXiv 的基准，用语言模型模拟用户，与配备领域 API 工具和规则条文的语言智能体进行动态对话，并以对话结束时的数据库状态而非回复文本判定成败。

FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。

SAM 2 是 Meta FAIR 提出的基础模型，用点、框或掩码等提示即可在图像和视频中分割目标，论文同时发布了大规模视频分割数据集与训练代码。

FrontierMath 是由 Epoch AI 推出的数学基准，包含数百道由专家数学家撰写与审核的原创高难度题目，用来考察 AI 的高级数学推理能力。发布时，最先进的模型解出的题目不足 2%。[^1][^2]

《人类最后的考试》（HLE）是一个包含 2,500 道题、横跨数十个学科的多模态基准，由全球专家编写，目的是在旧基准被模型刷满之后，仍能测量前沿大模型的能力。

这篇论文用 1000 道精选题目微调 Qwen2.5-32B，再用一种叫「预算强制」的简单方法控制模型的思考长度，在竞赛数学上最多领先 o1-preview 27%，并开源了模型、数据与代码。

2025 年的一篇论文提出「绝对零」范式：同一个模型自己出题、自己解题，由代码执行器统一判定对错，不使用任何外部数据，就在编程与数学推理上达到总体最佳水平。

Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。

1993 年论文，作者 Marcus、Santorini 与 Marcinkiewicz，介绍宾夕法尼亚树库：一百多万词《华尔街日报》文本带句法括号标注。

2013 年的论文提出 maxout 单元：输出取一组输入中的最大值，专为配合 dropout 设计，并在四个图像分类基准上取得当时最好的结果。

Graves、Mohamed 与 Hinton 于 2013 年发表的论文，考察用深度循环神经网络做语音识别，主张借助连接时序分类等方法实现端到端的序列训练。

2014年的一篇论文，由Mirza与Osindero提出条件生成对抗网络：把条件数据同时输入生成器和判别器，从而按类别标签生成MNIST数字等样本。

2015 年的一篇 arXiv 论文，由 Kelvin Xu、Jimmy Ba、Ryan Kiros、Kyunghyun Cho 等人提出带视觉注意力的图像描述模型，能在生成每个词时显示自己在看图像的哪个位置。

组归一化是 Yuxin Wu 与 Kaiming He 在 2018 年提出的方法：把通道分组后组内计算均值和方差，不依赖批大小，以缓解批归一化在小批量下的问题。

2018 年由 Diederik P. Kingma 与 Prafulla Dhariwal 发表的论文，提出以可逆 1x1 卷积为基础的生成流模型 Glow，在标准基准上提升了对数似然，并能高效地合成与操纵大尺寸图像。

HellaSwag 是 2019 年发布的一个挑战数据集：机器要从若干候选里挑出一句事件描述最可能的后续。它的错误选项由机器生成并筛选，目标是骗过模型而不是骗过人。