mixup：超越经验风险最小化

它想解决什么问题

深层神经网络的层数和参数很多，能够拟合非常复杂的函数，这正是这类模型强大的原因。mixup 这篇论文指出，这种能力也带来一些不希望出现的行为：网络会记住训练样本，预测对对抗样本（adversarial examples）敏感，输入被稍作改动，模型就可能给出错误答案^[1]。常规训练通常被称为经验风险最小化（empirical risk minimization），它只要求模型在训练集上的平均损失尽量小，对训练样本之外的输入没有任何要求。mixup 就是为缓解这些问题而提出的一个简单学习原则^[1]。

怎么做的

mixup 不直接用单个样本训练，而是用一对样本及其标签的凸组合（convex combination）来训练神经网络^[1]。具体做法是：取出两个训练样本，用一个权重把两个输入加权平均成新输入，再用同一个权重把两个标签加权平均成新目标。权重接近 1 时，混合样本几乎就是第一个样本；接近 0 时几乎就是第二个样本；在中间时，模型看到的是连接两个样本的那条直线上的一个点。

这样得到的标签是一个混合比例，而不是某一个类别。面对一个一半像这一类、一半像那一类的输入，网络无法用满分的把握回答其中一类，只能学着给出随混合比例平滑变化的目标。论文把这种效果描述为：正则化网络，使其在训练样本之间倾向于简单的线性行为^[1]。而训练样本之间的这片区域，恰恰是普通训练完全没有约束的地方，因此这条额外的约束改变了模型在训练点之外的行为。

这个原则的简单之处在于，它不引入新的层或专门的模块，改变的是网络被训练去拟合的东西：训练时喂给网络的是混合后的输入和混合后的标签，而不是原始样本^[1]。

实验结果

作者在 ImageNet-2012、CIFAR-10、CIFAR-100、Google commands 数据集和若干 UCI 数据集上做了实验^[1]。这些数据合起来覆盖了大规模图像分类、较小的图像基准、语音命令和表格数据，说明结论并不依赖于某一种输入形式。在这些实验中，mixup 提升了当时先进结构的泛化能力^[1]，也就是模型在没训练过的数据上表现更好。

作者与发表

论文题为「mixup: Beyond Empirical Risk Minimization」，2017 年 10 月 25 日首次提交到 arXiv，编号为 1710.09412^[1]。作者是 Hongyi Zhang、Moustapha Cisse、Yann N. Dauphin 和 David Lopez-Paz^[1]。

为什么重要

标题里的「超越经验风险最小化」点出了核心主张：常规训练只在训练点上约束模型，mixup 则追加了对训练点之间区域的约束，要求模型在从某个训练样本移向另一个训练样本时，以简单、近似线性的方式变化^[1]。由于它只是一条构造训练输入和目标的方法，而不是新的网络结构，所以表述起来简单，也容易和已有模型配合使用。论文把它作为一个简单的学习原则提出，并报告了在多种结构和多个数据集上泛化能力的提升^[1]。