概况
论文《Deep Residual Learning for Image Recognition》于2015年12月10日提交到arXiv，作者为微软研究院的何恺明（Kaiming He）、张祥雨（Xiangyu Zhang）、任少卿（Shaoqing Ren）和孙剑（Jian Sun）。论文发表于CVPR 2016，并获得CVPR最佳论文奖。[1][2]
要解决什么问题
当标准化初始化和归一化层让数十层的网络能够开始收敛后，一个新问题出现了。按理说，更深的网络至少不应比浅层网络差，因为多出来的层可以学会把输入原样传递下去。实际训练中，优化过程却不容易找到这样的解。继续给一个足够深的模型增加层数，准确率会先饱和，然后下降，训练误差也随之升高。作者强调，这并非过拟合所致，并把这一现象称为退化问题（degradation problem）。[2]
怎么做的
作者没有让一叠层直接学习期望的映射H(x)，而是让它们学习残差F(x) = H(x) − x，再通过捷径连接（shortcut connection）把输入加回来，因此模块的输出为F(x) + x。如果恒等映射接近最优，各层只需把残差推向零，这比从头学习恒等映射要容易。[1]
恒等捷径既不增加参数，也不增加计算量。整个网络依然通过随机梯度下降和反向传播进行端到端训练。[1]
结果
在ImageNet上，作者训练了最深达152层的残差网络，其深度是VGG网络的8倍，但复杂度更低。即使是34层的基线网络，也需要36亿次浮点运算（FLOPs），只占VGG-19所需196亿次的18%。一组残差网络的集成在ImageNet测试集上取得了3.57%的top-5错误率，并在ILSVRC 2015分类任务中获得第一名。[2]
2015年，残差网络还在ImageNet的检测与定位任务，以及COCO的检测与分割任务中获得第一名。在COCO目标检测上，它带来了28%的相对提升。[2] 论文还在CIFAR-10数据集上分析了100层和1,000层的残差网络。[2]
为什么重要
残差连接只是对网络连接方式的一个简单改动，却消除了阻碍极深模型提升效果的障碍。由于捷径不增加参数，残差模块可以插入现有结构中，而不改变模型的规模。[1]
后续影响
据何恺明的个人主页介绍，残差连接如今已广泛用于现代深度学习，包括Transformer、AlphaGo Zero和AlphaFold。2026年，该论文获得CVPR时间检验奖（Test of Time Award，Longuet-Higgins Prize）。[3]
20161
-
2016 年 6 月，CVPR 最佳论文奖授予 Kaiming He 等人的深度残差学习论文，该文后来成为 5 年内被引用最多的研究论文。
20151
-
评测ResNet 以 3.57% 错误率赢得 ILSVRC 2015
2015 年 ILSVRC 分类任务由残差网络（ResNet）夺冠，ImageNet 测试集错误率 3.57%。这种网络最深 152 层，让层去学相对于输入的残差函数，据记载已超过人类表现。
注释与来源
- Deep Residual Learning for Image Recognitionhttps://arxiv.org/abs/1512.03385
- Deep Residual Learning for Image Recognition (CVPR 2016)https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html
- Kaiming He — homepagehttps://people.csail.mit.edu/kaiming/
引用本页: Deep Residual Learning for Image Recognition（用于图像识别的深度残差学习）. TellWorld, https://www.tellworld.net/zh/papers/deep-residual-learning. 更新于 2026-11-07