批归一化：通过减少内部协变量偏移加速深度网络训练

要解决的问题

深度网络靠反复微调参数来降低误差。每一层看到的都是下一层的输出，因此当某一层的参数改变时，送进上一层的数值也随之改变。作者给这个现象起了名字：内部协变量偏移（internal covariate shift），即训练过程中网络参数的变化所引起的网络激活值分布的变化^[1]。

输入的分布在动，训练就变得别扭。每一层都要不断适应一个移动的目标，网络前部的小改动可能在后部被放大。实践中的常见对策是两条：把学习率压小，慢一点训练；把初始权重挑得仔细一点，免得激活值爆炸或消失。这两条都让训练深度网络变得昂贵。

做法

Sergey Ioffe 和 Christian Szegedy 于 2015 年 2 月 11 日把论文发布到 arXiv^[1]，提出的办法刻意简单：对每个训练小批量（mini-batch），把该层的输入归一化^[1]。网络不再把传过来的数值原样喂给这一层，而是先把它们标准化——减去当前小批量的均值，再除以它的波动幅度——这样无论下面几层刚刚发生了多大变化，每一层收到的输入都处在可比较的尺度上。

由于统计量来自小批量，这个操作可以自然地嵌进常规的小批量训练流程：前向传播时多做一步，反向传播时梯度也照常穿过它。它的目的不是把分布固定住，而是让它稳定到足以让上层依赖的程度。

结果

作者报告了几个实际效果。该方法允许使用高得多的学习率，也不必那么仔细地做初始化^[1]，等于松开了两条让深度网络难训的约束。它还起到正则化（regulariser）的作用，在某些情况下不再需要 dropout^[1]——统计量按小批量而非整个数据集计算所带来的噪声，本身似乎就有稳定训练的效果。

最显眼的数字与速度有关。把它用在一个当时最先进的图像分类模型上，达到相同精度所需的训练步数减少了 14 倍^[1]。作者还表示，这个方法让他们能够训练此前实际做不到的深层网络^[1]。

为什么重要

这篇论文的贡献既是技术上的，也是概念上的。它为一个从业者感受得到却说不清楚的困难命了名——内部协变量偏移，并给出了一个便宜、通用的解法，几乎可以插进任何前馈结构而不必重新设计网络。

影响有两个方向。在实践层面，它改变了同样的训练预算能换来什么：达到相同精度所需的步数更少，对激进的学习率更宽容，花在调初始化上的时间更少。在概念层面，它把「一层应该收到行为良好的输入」当作设计的一部分，把激活值的尺度问题从初始化的偶然结果变成架构里的一环。代价是：一层的输出现在取决于同一个小批量里的其他样本，统计量因此与批次的构造方式绑在了一起。