深度学习论文

A Logical Calculus of the Ideas Immanent in Nervous Activity（神经活动中内在思想的逻辑演算） 1943年，麦卡洛克与皮茨描述了一个简化的神经元模型，并证明由这种单元组成的网络可以进行逻辑推理，这是大脑模型与计算之间的早期联系。
The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain（感知机：大脑信息存储与组织的概率模型） 1958年，弗兰克·罗森布拉特描述了感知机：它的连接强度随训练而改变，从而通过试错学会对刺激分类。它成为可训练神经网络的起点。
Perceptrons: An Introduction to Computational Geometry（感知机）《Perceptrons》是 Marvin Minsky 与 Seymour Papert 于 1969 年出版的著作，用数学证明划定单层感知机的计算边界，长期被认为影响了 20 世纪 70 年代神经网络研究的走向。
《具有涌现集体计算能力的神经网络与物理系统》 1982 年约翰·霍普菲尔德（John J. Hopfield）的论文提出，大量简单神经元式单元组成的网络能集体存储与取回记忆。该模型后来被称为霍普菲尔德网络，相关工作获 2024 年诺贝尔物理学奖肯定。
Learning representations by back-propagating errors（通过反向传播误差学习表示） 1986年，鲁梅尔哈特、辛顿和威廉姆斯在《Nature》上发表论文，证明反向传播能让多层网络中的隐藏单元学会任务的有用内部特征。如今，这一方法是大多数神经网络的标准做法。
最优间隔分类器训练算法这篇 1992 年的论文由 Boser、Guyon 和 Vapnik 提出一种训练算法，最大化训练样本与决策边界之间的间隔，并在光学字符识别实验中检验其泛化表现。[^1]
Long Short-Term Memory（长短期记忆网络）这篇 1997 年的论文提出了带门控的记忆单元和「恒定误差传送带」，使循环网络能跨越很长的时间间隔学习，塑造了 Transformer 出现前的许多模型。
深度信念网络的快速学习算法 2006 年，Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络，再做整体微调；所得带三个隐藏层的模型既能生成手写数字，分类效果也很好。
用图形处理器进行大规模深度无监督学习 2009 年 ICML 论文，作者为 Rajat Raina、Anand Madhavan 与 Andrew Y. Ng，用图形处理器训练深度信念网络与稀疏编码模型，速度比多核 CPU 快数十倍。
ImageNet: A Large-Scale Hierarchical Image Database（ImageNet：大规模层级图像数据库） 2009年的这篇论文提出了ImageNet，一个规模大、标注清晰、按WordNet层级组织的图像数据库，后来成为ILSVRC竞赛的基础。
理解深度前馈神经网络训练的困难这篇2010年的论文分析深度前馈网络为何难以训练：S 型激活函数在随机初始化下容易饱和，各层雅可比矩阵的奇异值远离1时训练更难；作者据此提出一种收敛明显更快的新初始化方案。
基于单幅深度图像分部位的实时人体姿态识别这篇论文用逐像素分类的方法，从单幅深度图像直接得到三维关节点位置，不使用时间信息，在消费级硬件上达到每秒 200 帧，获 CVPR 2011 最佳论文。
深度稀疏整流神经网络 2011 年 Glorot、Bordes 与 Bengio 的论文，报告由整流神经元构成的深度网络性能不逊于 tanh 网络，并且在标注数据充足的纯监督任务上无需无监督预训练即可达到最佳表现。
ImageNet Classification with Deep Convolutional Neural Networks（用深度卷积神经网络做 ImageNet 分类） 2012年的NeurIPS论文提出了AlexNet，这是一个在GPU上训练的大型卷积神经网络，并在ILSVRC-2012竞赛中夺冠。
生成对抗网络 Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。
Neural Machine Translation by Jointly Learning to Align and Translate（联合学习对齐与翻译的神经机器翻译） Bahdanau、Cho 与 Bengio 2014 年的这篇论文让翻译模型在生成每个词时回看整个源句，这一注意力（attention）机制后来成为 Transformer 的基础之一。
Very Deep Convolutional Networks for Large-Scale Image Recognition 这篇 2014 年的论文证明：把大量 3×3 的小卷积核堆到 16–19 个权重层，能提升大规模图像识别；其模型在 ImageNet Challenge 2014 上拿下定位赛道第一、分类赛道第二，并对外公开。
Sequence to Sequence Learning with Neural Networks（用神经网络做序列到序列学习） Sutskever、Vinyals 与 Le 2014 年的这篇论文表明，两个 LSTM 可以完成翻译并超过基于短语的基线，确立了后来翻译模型常用的编码器-解码器模式。
Going Deeper with Convolutions 2014 年的论文，提出 Inception 架构以及用它搭成的 22 层网络 GoogLeNet，在 2014 年 ImageNet 挑战赛的分类与检测任务上取得最好成绩，top-5 错误率 6.67%。
GloVe：全局词向量表示 GloVe 是 2014 年提出的一种词向量方法，通过分解全局词共现矩阵来学习词表示；它与 word2vec 同年出现，成为静态词向量的两种标准做法之一。
Adam：一种随机优化方法 Adam 是 Diederik P. Kingma 与 Jimmy Ba 在 2014 年论文中提出的随机优化算法：用梯度一阶矩与二阶矩的滑动估计为每个参数自适应地确定步长，内存开销小、超参数通常无需太多调整。
深度学习（Nature 综述） 2015年，LeCun、Bengio 与 Hinton 在《自然》发表综述，说明多个处理层组成的模型如何学习分层数据表示，并梳理语音、图像等领域的成果。
通过深度强化学习实现人类水平的控制 2015 年《自然》论文中，Mnih、Silver 等人用同一个深度 Q 网络智能体，仅凭像素和分数就在 49 款 Atari 游戏上达到职业人类测试员水平。
用强化学习做神经架构搜索 2016 年的论文，Zoph 与 Le 用强化学习训练的循环网络自动生成神经网络结构，在 CIFAR-10 上媲美人类最佳设计，在 Penn Treebank 上超过 LSTM。
Mask R-CNN Mask R-CNN 是 2017 年提出的物体实例分割框架，在检测物体的同时为每个实例生成高质量掩码，通过给 Faster R-CNN 增加并行掩码分支实现。
Attention Is All You Need（注意力就是你所需要的） 2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。
Mastering the game of Go without human knowledge DeepMind 的 AlphaGo Zero 从随机落子开始，只靠自我对弈学会围棋，训练三天便以 100 比 0 击败此前击败人类冠军的 AlphaGo 版本。相关论文于 2017 年 10 月发表在《自然》。
深层语境化词表示（ELMo）这是 Matthew E. Peters 等六位作者 2018 年的论文，用预训练的深层双向语言模型内部状态表示词，使向量随语境变化；把它加到已有模型上，在六个自然语言处理任务上提升了成绩。
通过生成式预训练提升语言理解（GPT） OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。
BERT：用于语言理解的深度双向 Transformer 预训练 Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
《Switch Transformers：用简单高效的稀疏性扩展到万亿参数模型》 2021 年，Fedus、Zoph 与 Shazeer 简化了混合专家模型的路由算法，使语言模型在参数量扩展到万亿级别时，每个样本的计算开销仍然保持恒定。
《FlashAttention：具备 IO 感知的快速精确注意力》 FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
《直接偏好优化：你的语言模型其实是一个奖励模型》 2023 年的一篇论文把人类反馈强化学习的优化目标改写成一个简单的分类损失，让语言模型不必依赖独立的奖励模型和强化学习就能对齐人类偏好。
《Mamba：带选择性状态空间的线性时间序列建模》 Mamba 是 Albert Gu 与 Tri Dao 提出的一种序列建模架构，用选择性状态空间替代注意力，实现线性时间与更快推理，语言建模表现可与两倍规模的 Transformer 相比。
Accurate structure prediction of biomolecular interactions with AlphaFold 3 AlphaFold 3 于2024年5月发表于《自然》，把结构预测扩展到生物分子相互作用，在蛋白质—配体结合上准确率高于对接工具，抗体—抗原预测高于 AlphaFold-Multimer v.2.3。
Backpropagation Applied to Handwritten Zip Code Recognition（反向传播用于手写邮政编码识别） 1989年，杨立昆与同事在AT&T贝尔实验室用反向传播训练卷积网络，识别美国邮件上手写的邮政编码数字，测试错误率为5.0%。这项工作表明，卷积结构可以在真实任务中端到端地学习。
Q 学习这是一篇 1992 年由 Watkins 与 Dayan 发表的技术札记，提出了 Q 学习：一种计算量小、增量式的学习最优动作价值的方法，并证明它在特定条件下以概率 1 收敛到最优值。
支持向量网络 Corinna Cortes 与 Vladimir Vapnik 1995年的论文提出支持向量网络：将输入非线性映射到高维特征空间并构造线性决策面，把方法从完全可分数据扩展到非可分数据。
MNIST 手写数字数据库 MNIST 是一个包含 60,000 张训练图像和 10,000 张测试图像的手写数字数据库，图像被归一化为 28×28 像素；它与 LeCun 等人 1998 年的论文一起，成为文档识别研究的共同基准。
Gradient-Based Learning Applied to Document Recognition（基于梯度的学习在文档识别中的应用）杨立昆等人1998年的综述主张，学习系统应取代人工设计的特征。它表明LeNet-5等卷积网络在手写数字上优于其他方法，并引入了MNIST数据集。
随机森林 Breiman 2001 年的论文把随机森林定义为多棵依赖随机向量的树的组合，分析其泛化误差与树强度和相关性的关系，并报告其错误率与 Adaboost 相当且更抗噪声。
A Neural Probabilistic Language Model（神经概率语言模型） Yoshua Bengio 等人 2003 年的这篇论文为每个词学习向量，并与预测下一个词的网络一起训练，引入了词嵌入的核心思想。
《从小图像中学习多层特征》（CIFAR-10/100） CIFAR-10 与 CIFAR-100 是从 8000 万张小图像数据集中抽出的带标签子集。CIFAR-10 含 10 类、共 60000 张 32×32 彩色图像。
从小图像中学习多层特征 Alex Krizhevsky 于 2009 年撰写的技术报告，提出 CIFAR-10 与 CIFAR-100，并研究用多层生成模型从小图像中学习特征。
使用均值-协方差受限玻尔兹曼机进行音素识别 2010年 NIPS 论文，Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模，在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。
Torch7：类 Matlab 的机器学习环境 2011 年的一篇 workshop 论文，介绍 Torch7：一个扩展 Lua 的数值计算框架与机器学习库，用轻量脚本语言换灵活性，用底层优化内核换速度。
几乎从零开始的自然语言处理 2011 年《机器学习研究杂志》论文提出一套统一的神经网络架构与学习算法，以大量无标注语料学习表示，用极少任务专用工程完成词性标注、组块分析、命名实体识别和语义角色标注。
用大规模无监督学习构建高层特征 2012年，Quoc Le、Andrew Ng 等人在谷歌用1000台机器训练大规模无监督神经网络，在没有标注人脸的图像上学会了检测人脸。
深度神经网络用于语音识别声学建模：四个研究组的共同观点 2012年发表于 IEEE Signal Processing Magazine 的文章，汇集四个研究组的共同观点，说明用深度神经网络替代高斯混合模型做语音识别声学建模，在多项基准上效果更好。
大规模分布式深度网络 2012 年 NIPS 论文，提出可在数千台机器集群上训练深度网络的 DistBelief 框架，以及 Downpour SGD 和 Sandblaster 两种优化过程。
Efficient Estimation of Word Representations in Vector Space（向量空间中词表示的高效估计）谷歌的 Tomas Mikolov 等人 2013 年提交的这篇论文提出 CBOW 和 Skip-gram 两种简单结构，能快速从海量文本学习词向量，是 word2vec 的基础。
词与短语的分布式表示及其组合性 2013年论文提出连续 Skip-gram 等高效学习词与短语分布式向量表示的方法，并给出提升向量质量与训练速度的扩展。
用于精确目标检测与语义分割的丰富特征层级 R-CNN 把卷积神经网络用于区域提议做目标检测，在 PASCAL VOC 2012 上平均精度均值达 53.3%，比此前最好结果高出 30% 以上[^1]。
Visualizing and Understanding Convolutional Networks（可视化并理解卷积网络） Zeiler 与 Fergus 提出可视化卷积网络中间层的技术，并用消融实验找到在 ImageNet 上超越 Krizhevsky 等人的架构。
用深度强化学习玩 Atari 游戏 2013 年，Mnih 等人用 Q 学习变体训练卷积网络，直接以像素为输入学会玩七款 Atari 2600 游戏，六款胜过旧方法，三款胜过人类专家。
自编码变分贝叶斯 Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文，提出一种随机变分推断与学习算法，使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。
Dropout：一种防止神经网络过拟合的简单方法 2014 年的一篇论文提出 Dropout：训练时随机丢弃神经元，让大型神经网络不易过拟合，并在视觉、语音等领域的多项基准上取得当时最好的结果。
DeepFace：把人脸验证拉近人类水平 DeepFace 是 2014 年的人脸验证系统，重新设计了对齐与表示两个环节，用一个 1.2 亿多参数的九层网络在 Labeled Faces in the Wild 上达到 97.35% 的准确率。
《卷积走得更深》（GoogLeNet / Inception）一篇2014年的谷歌论文，提出Inception架构；其GoogLeNet在固定计算预算下加深加宽网络，在ILSVRC 2014分类与检测任务上刷新当时最好成绩。
神经图灵机这篇 2014 年的论文把神经网络与外部记忆耦合起来，网络通过注意力读写记忆；整个系统端到端可微，因此可以用梯度下降训练。
看图说话：神经图像描述生成器这是 Vinyals 等人在 2014 年发表的论文，用一个端到端训练的深层网络把照片变成句子，在 Pascal 数据集上取得 59 的 BLEU-1 分数，而当时最好成绩为 25。
Deep Speech：端到端语音识别的规模化 2014年的一篇论文提出端到端深度学习语音识别系统，省去手工设计的噪声模块和音素词典，依靠多GPU训练的循环网络与合成数据。
批归一化：通过减少内部协变量偏移加速深度网络训练 2015 年 Sergey Ioffe 与 Christian Szegedy 提出的方法：对每一层的输入按训练小批量做归一化，从而可以用更大的学习率、更随意的初始化，并大幅加快深度网络的训练。
Faster R-CNN：用区域建议网络实现实时目标检测 2015 年论文提出与检测网络共享卷积特征的区域建议网络，使候选区域生成几乎无额外成本，实现端到端训练；在 GPU 上达到每秒 5 帧，并在多个基准上取得当时最好精度。
YOLO：统一的实时目标检测 2015 年的论文提出 YOLO，把目标检测视为从图像像素直接回归边界框和类别概率的单一问题。一个神经网络一次评估即可完成预测，达到实时速度。
《You Only Look Once：统一、实时的目标检测》 2015 年的 YOLO 论文把目标检测改写为单个神经网络对边界框和类别概率的回归，实现实时检测，并减少空白背景上的误检。
Deep Residual Learning for Image Recognition（用于图像识别的深度残差学习） 2015年的这篇论文提出了残差网络，通过捷径连接把每一层的输入加回到输出上。它让超过一百层的网络能够训练，并在2015年的多项ILSVRC和COCO任务中夺得第一名。
Mastering the game of Go with deep neural networks and tree search（用深度神经网络和树搜索掌握围棋） 2016年《自然》论文介绍了AlphaGo，它结合深度神经网络与树搜索。2015年10月，其分布式版本以5比0击败职业棋手樊麾，首次在不让子的全尺寸围棋中战胜职业棋手。
深度残差网络中的恒等映射论文分析残差块中的信号传播：用恒等映射作跳跃连接、激活放在相加之后，信号就能在任意两个块之间直接传递；新提出的残差单元更易训练，1001 层网络在 CIFAR-10 上错误率 4.62%。
WaveNet：原始音频生成模型 WaveNet 是一个直接生成原始音频波形的深度神经网络，逐个采样点地预测声音，每个采样点都以之前所有采样点为条件。用于语音合成时，听者认为它比对照的系统明显更自然。
谷歌神经机器翻译系统：弥合人与机器翻译的差距 2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。
Proximal Policy Optimization Algorithms 2017年，Schulman 等五人提出近端策略优化（PPO），一种更易实现和调参的强化学习算法；OpenAI 后来将其作为默认强化学习算法。
用于密集目标检测的焦点损失 2017年论文，作者为 Tsung-Yi Lin 等五人。它把密集单阶段检测器的精度差距归因于前景与背景的极端类别不平衡，并提出降低已分类良好样本损失权重的焦点损失。
mixup：超越经验风险最小化 mixup 是 2017 年一篇论文提出的训练原则：把两个样本及其标签按同一比例混合成新样本训练神经网络，在图像、语音和表格数据上提升了模型的泛化能力。
A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play 2017 年挂在 arXiv、后于 Science 发表的论文：同一个自我对弈强化学习算法 AlphaZero 学会了国际象棋、将棋和围棋，并在三种棋里都战胜了强力的专门程序。
通用语言模型微调（ULMFiT） ULMFiT 是 Howard 与 Ruder 在 2018 年提出的通用语言模型微调方法，用于 NLP 任务；在六个文本分类任务上超过当时最先进水平，并在少标签下表现突出。
神经常微分方程 2018 年的论文用神经网络参数化隐藏状态的导数，取代固定层序列，输出由微分方程求解器算出，得到常数内存开销的连续深度模型。[^1]
《XLNet：面向语言理解的广义自回归预训练》 XLNet 是一种广义自回归预训练方法：它通过最大化所有分解顺序排列的期望似然来学习双向语境，并在可比实验设置下于 20 项任务上优于 BERT。
《RoBERTa：稳健优化的 BERT 预训练方法》 RoBERTa 是对 BERT 预训练的复现研究：系统测量关键超参数与训练数据规模的影响，发现 BERT 训练明显不足，妥善训练后即可匹敌或超过此后发表的模型，并在 GLUE、RACE、SQuAD 上取得最好成绩。
Mastering Atari, Go, chess and shogi by planning with a learned model MuZero 是 DeepMind 提出的强化学习算法，它自己学出一个环境模型，并在该模型中做规划，在不被告知规则的情况下掌握了 Atari、围棋、国际象棋和将棋。
《ELECTRA：以判别器而非生成器方式预训练文本编码器》 2020 年由 Clark、Luong、Le 与 Manning 提出的预训练方法：让模型判断哪些词被替换过，而不是填补被遮住的词，用更少的算力达到与大模型相当的效果。
去噪扩散概率模型（DDPM） 2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer） 2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。
用深度强化学习控制托卡马克等离子体的磁场 2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。
《基于 Transformer 的可扩展扩散模型》（DiT） 2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
Learning skillful medium-range global weather forecasting GraphCast 是一个基于图神经网络的全球天气模型，用四十年的再分析资料训练，能在不到一分钟内给出 0.25 度分辨率、未来 10 天的全球预报，并在多数检验指标上超过当时最准确的业务确定性预报系统。
《FlashAttention-2：更好并行与工作划分的更快注意力》 FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
Scaling deep learning for materials discovery 2023 年发表于《自然》的一篇论文，报告了一套用于材料发现的规模化深度学习方案：预测出 220 万个位于凸包之下的结构，并把稳定性预测的成功率从约 50% 提升到 80%。
《Transformer 就是 SSM：通过结构化状态空间对偶得到的广义模型与高效算法》 Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。
《FlashAttention-3：以异步与低精度实现快速准确注意力》 FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
《SAM 2：在图像与视频中分割一切》 SAM 2 是 Meta FAIR 提出的基础模型，用点、框或掩码等提示即可在图像和视频中分割目标，论文同时发布了大规模视频分割数据集与训练代码。
《s1：最简单的测试时扩展》这篇论文用 1000 道精选题目微调 Qwen2.5-32B，再用一种叫「预算强制」的简单方法控制模型的思考长度，在竞赛数学上最多领先 o1-preview 27%，并开源了模型、数据与代码。
《绝对零：零数据的强化自博弈推理》 2025 年的一篇论文提出「绝对零」范式：同一个模型自己出题、自己解题，由代码执行器统一判定对错，不使用任何外部数据，就在编程与数学推理上达到总体最佳水平。
Maxout 网络 2013 年的论文提出 maxout 单元：输出取一组输入中的最大值，专为配合 dropout 设计，并在四个图像分类基准上取得当时最好的结果。
用深度循环神经网络做语音识别 Graves、Mohamed 与 Hinton 于 2013 年发表的论文，考察用深度循环神经网络做语音识别，主张借助连接时序分类等方法实现端到端的序列训练。
条件生成对抗网络 2014年的一篇论文，由Mirza与Osindero提出条件生成对抗网络：把条件数据同时输入生成器和判别器，从而按类别标签生成MNIST数字等样本。
看图、注意与描述：带视觉注意力的神经图像描述生成 2015 年的一篇 arXiv 论文，由 Kelvin Xu、Jimmy Ba、Ryan Kiros、Kyunghyun Cho 等人提出带视觉注意力的图像描述模型，能在生成每个词时显示自己在看图像的哪个位置。
组归一化组归一化是 Yuxin Wu 与 Kaiming He 在 2018 年提出的方法：把通道分组后组内计算均值和方差，不依赖批大小，以缓解批归一化在小批量下的问题。
用统一的文本到文本 Transformer 探索迁移学习的极限（T5） Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。