科学发现 论文

C. E. Shannon 1948年的论文为通信建立了数学框架，以比特度量信息，提出信道容量与熵，并把消息视为从可能集合中选出的对象，而非语义内容。

A. L. Samuel 1959 年发表的论文，报告用跳棋进行的机器学习实验：程序只拿到游戏规则和一组符号、权重均未知的参数，在 8 到 10 小时的机器对弈时间里学会下棋，并胜过了写它的人。

《Perceptrons》是 Marvin Minsky 与 Seymour Papert 于 1969 年出版的著作，用数学证明划定单层感知机的计算边界，长期被认为影响了 20 世纪 70 年代神经网络研究的走向。

John J. Hopfield 于 1982 年发表的论文，主张有用的计算能力可以作为大量简单等价单元的集体性质涌现出来，并给出一个模型：其集体行为带来内容寻址记忆、泛化与纠错等能力。

1982 年约翰·霍普菲尔德（John J. Hopfield）的论文提出，大量简单神经元式单元组成的网络能集体存储与取回记忆。该模型后来被称为霍普菲尔德网络，相关工作获 2024 年诺贝尔物理学奖肯定。

1986年，鲁梅尔哈特、辛顿和威廉姆斯在《Nature》上发表论文，证明反向传播能让多层网络中的隐藏单元学会任务的有用内部特征。如今，这一方法是大多数神经网络的标准做法。

理查德·萨顿1988年的论文提出时序差分学习：用相邻两次预测之差分配信用的增量式预测方法，比传统方法更省内存、预测更准。

Rodney Brooks 在 1990 年的这篇论文中主张从底层出发造人工智能：把与环境持续进行的物理互动当作设计智能系统的主要约束，而不是沿用此前约三十年主导领域的抽象符号操作。

这篇 1992 年的论文由 Boser、Guyon 和 Vapnik 提出一种训练算法，最大化训练样本与决策边界之间的间隔，并在光学字符识别实验中检验其泛化表现。[^1]

Sergey Brin 与 Lawrence Page 于 1998 年发表的会议论文，提出按指向网页的链接数量与质量排序的 PageRank 算法，并据此搭建了 Google 搜索引擎。

一个生成式概率模型，把每篇文档表示为对一组主题的有限混合，用变分近似推断与 EM 算法拟合，并在文档建模、文本分类和协同过滤上做了评测。

这篇2010年的论文分析深度前馈网络为何难以训练：S 型激活函数在随机初始化下容易饱和，各层雅可比矩阵的奇异值远离1时训练更难；作者据此提出一种收敛明显更快的新初始化方案。

这篇论文用逐像素分类的方法，从单幅深度图像直接得到三维关节点位置，不使用时间信息，在消费级硬件上达到每秒 200 帧，获 CVPR 2011 最佳论文。

2011 年 Glorot、Bordes 与 Bengio 的论文，报告由整流神经元构成的深度网络性能不逊于 tanh 网络，并且在标注数据充足的纯监督任务上无需无监督预训练即可达到最佳表现。

Adam 是 Diederik P. Kingma 与 Jimmy Ba 在 2014 年论文中提出的随机优化算法：用梯度一阶矩与二阶矩的滑动估计为每个参数自适应地确定步长，内存开销小、超参数通常无需太多调整。

2015年，LeCun、Bengio 与 Hinton 在《自然》发表综述，说明多个处理层组成的模型如何学习分层数据表示，并梳理语音、图像等领域的成果。

DeepMind 的 AlphaGo Zero 从随机落子开始，只靠自我对弈学会围棋，训练三天便以 100 比 0 击败此前击败人类冠军的 AlphaGo 版本。相关论文于 2017 年 10 月发表在《自然》。

Nature 论文介绍了 AlphaFold 用于蛋白质结构预测的方法、系统设计和评估。

AlphaFold 3 于2024年5月发表于《自然》，把结构预测扩展到生物分子相互作用，在蛋白质—配体结合上准确率高于对接工具，抗体—抗原预测高于 AlphaFold-Multimer v.2.3。

1966年1月，Joseph Weizenbaum 发表论文，介绍在 MIT 的 MAC 分时系统上运行的 ELIZA：它用关键词触发的分解规则和重组规则，实现某些人机自然语言对话。

1985年，Ackley、Hinton 与 Sejnowski 在《Cognitive Science》发表论文，提出一种修改连接强度的通用学习规则，并用简单例子展示网络能从样本中形成结构高效的内部表示。

Gerald Tesauro 1992 年的论文以自对弈西洋双陆棋为案例，检验时序差分学习能否解决复杂现实任务。

Brin 和 Page 的 PageRank 技术报告把超链接当作引用，用链接结构为网页排序，并用于构建 Google 搜索引擎；它是描述两人早期工作的两篇被高度引用论文之一。

2010年 NIPS 论文，Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模，在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。

2011 年《机器学习研究杂志》论文提出一套统一的神经网络架构与学习算法，以大量无标注语料学习表示，用极少任务专用工程完成词性标注、组块分析、命名实体识别和语义角色标注。

2012年发表于 IEEE Signal Processing Magazine 的文章，汇集四个研究组的共同观点，说明用深度神经网络替代高斯混合模型做语音识别声学建模，在多项基准上效果更好。

2013年论文提出连续 Skip-gram 等高效学习词与短语分布式向量表示的方法，并给出提升向量质量与训练速度的扩展。

2014 年的一篇论文提出 Dropout：训练时随机丢弃神经元，让大型神经网络不易过拟合，并在视觉、语音等领域的多项基准上取得当时最好的结果。

2014年的一篇论文提出端到端深度学习语音识别系统，省去手工设计的噪声模块和音素词典，依靠多GPU训练的循环网络与合成数据。

2015 年 Sergey Ioffe 与 Christian Szegedy 提出的方法：对每一层的输入按训练小批量做归一化，从而可以用更大的学习率、更随意的初始化，并大幅加快深度网络的训练。

论文分析残差块中的信号传播：用恒等映射作跳跃连接、激活放在相加之后，信号就能在任意两个块之间直接传递；新提出的残差单元更易训练，1001 层网络在 CIFAR-10 上错误率 4.62%。

mixup 是 2017 年一篇论文提出的训练原则：把两个样本及其标签按同一比例混合成新样本训练神经网络，在图像、语音和表格数据上提升了模型的泛化能力。

2017 年挂在 arXiv、后于 Science 发表的论文：同一个自我对弈强化学习算法 AlphaZero 学会了国际象棋、将棋和围棋，并在三种棋里都战胜了强力的专门程序。

2018 年的论文用神经网络参数化隐藏状态的导数，取代固定层序列，输出由微分方程求解器算出，得到常数内存开销的连续深度模型。[^1]

MuZero 是 DeepMind 提出的强化学习算法，它自己学出一个环境模型，并在该模型中做规划，在不被告知规则的情况下掌握了 Atari、围棋、国际象棋和将棋。

2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。

GraphCast 是一个基于图神经网络的全球天气模型，用四十年的再分析资料训练，能在不到一分钟内给出 0.25 度分辨率、未来 10 天的全球预报，并在多数检验指标上超过当时最准确的业务确定性预报系统。

GPQA 是包含 448 道选择题的问答基准，题目由生物学、物理学和化学专家撰写，设计成熟练非专家靠上网也答不出；基于 GPT-4 的最强基线正确率只有 39%，而同领域专家达到 65%。

2023 年发表于《自然》的一篇论文，报告了一套用于材料发现的规模化深度学习方案：预测出 220 万个位于凸包之下的结构，并把稳定性预测的成功率从约 50% 提升到 80%。

FrontierMath 是由 Epoch AI 推出的数学基准，包含数百道由专家数学家撰写与审核的原创高难度题目，用来考察 AI 的高级数学推理能力。发布时，最先进的模型解出的题目不足 2%。[^1][^2]

2013 年的论文提出 maxout 单元：输出取一组输入中的最大值，专为配合 dropout 设计，并在四个图像分类基准上取得当时最好的结果。

Graves、Mohamed 与 Hinton 于 2013 年发表的论文，考察用深度循环神经网络做语音识别，主张借助连接时序分类等方法实现端到端的序列训练。

组归一化是 Yuxin Wu 与 Kaiming He 在 2018 年提出的方法：把通道分组后组内计算均值和方差，不依赖批大小，以缓解批归一化在小批量下的问题。