组归一化

要解决的问题

论文把批归一化（batch normalization）描述为里程碑式技术，使很多网络得以训练^[1]。批归一化沿批维度进行归一化^[1]。但这样做的统计量来自批次，批次很小时估计不准确^[1]。论文指出，随着批大小变小，批归一化的误差会迅速增大^[1]。

这不只是理论问题。论文把这一小批量问题与两类实际场景联系起来：训练更大的模型，以及把特征迁移到检测、分割和视频任务^[1]。这些任务因为内存限制需要小批量，因此依赖批统计量的归一化方法会处于不利位置^[1]。论文要解决的问题是：如何在不依赖批维度的情况下完成归一化。

怎么做的

组归一化（Group Normalization）被提出作为批归一化的一种简单替代方案^[1]。它不沿批维度计算统计量，而是把通道（channel）分成若干组，并在每个组内计算均值（mean）和方差（variance）^[1]。然后用这些组内统计量做归一化。其计算与批大小无关^[1]。

从概念上说，这改变了归一化统计量的来源。批归一化会跨小批量中的样本汇集信息；组归一化则在每个通道组内部汇集信息。由于过程按通道组定义，而不是按批大小定义，改变批大小不会改变归一化的计算^[1]。论文把它表述为一个简单设计：对通道分组，为每组计算均值和方差，再用它们归一化^[1]。

在归一化的通用做法中，均值和方差用来把一组数值调整到较稳定的尺度。批归一化和组归一化的差别，主要在于这组数值从哪里取：批归一化从批维度取，组归一化从通道组内取。如果批很小，批统计量只基于少量样本，估计会波动；组归一化不把批大小作为计算的一部分，因此不会依赖这种小批量统计量^[1]。

为什么重要

论文的动机与小批量下批归一化变得不可靠的条件直接相关^[1]。模型用小批量训练时，批统计量估计不准确，批归一化的误差会迅速增大^[1]。组归一化的计算与批大小无关，因此避开了这种依赖^[1]。这使它适用于因内存限制而必须使用小批量的场景，包括训练更大的模型，以及把特征迁移到检测、分割和视频任务^[1]。

论文并没有把组归一化描述为一种复杂的新架构。它是一种归一化层：改变的是激活值如何被归一化，而不是整个网络。论文给出的优势是简单，并且不依赖批大小^[1]。对读者来说，关键想法是：归一化可以围绕通道组来组织，而不是围绕批来组织，因此同一层不必依赖批统计量。

论文信息

Group Normalization 于 2018 年 3 月 22 日首次提交到 arXiv，编号为 1803.08494^[1]。第一作者是 Yuxin Wu，Kaiming He 是共同作者^[1]。