Maxout 网络

背景

Ian J. Goodfellow、David Warde-Farley、Mehdi Mirza、Aaron Courville 和 Yoshua Bengio 于 2013 年 2 月 18 日把论文《Maxout Networks》发布到 arXiv^[1]。这篇论文处在两个问题的交汇处：一种在训练中随机关掉单元的正则化手段该怎么分析，以及网络究竟应该由什么样的单元构成。

要解决的问题：dropout 与它的廉价近似

dropout（随机失活）是一种训练技巧。每一次更新时，网络中的一部分单元被随机关掉，网络因此没法依赖某个单元总在那里，留下来的权重必须在许多不同的组合下都表现良好。作者把 dropout 描述为一种当时刚刚提出的近似模型平均（approximate model averaging）技术^[1]。

这样说的道理不难理解：每一种随机关闭的模式都对应一个更「瘦」的子网络，因此用 dropout 训练，大致相当于训练一个规模极大的子网络家族，而这些子网络共享同一套权重。测试时把所有这些子网络都跑一遍代价太高，于是 dropout 用一个廉价的替代方案：做一次前向计算，把权重按比例缩放，用它代表整个家族的平均行为。

这个替代方案准不准，取决于它作用在什么样的网络上。作者没有把 dropout 当成可以事后加到任意结构上的东西，而是反过来问：什么样的结构能让 dropout 既容易优化，又能让那个快速近似更准确^[1]。

maxout：围绕 dropout 设计的单元

他们的答案是 maxout。作者定义了一个叫 maxout 的模型，名字来自它的输出是一组输入中的最大值，他们同时把它看作 dropout 天然的搭档^[1]。maxout 单元由这一个运算定义：给它若干个值，它只留下最大的那个。

这个模型有两个设计目标：一是让 dropout 的优化更容易进行，二是提高 dropout 那种快速近似模型平均的准确性^[1]。从机制上看，取最大值是一种相当宽容的运算：当喂给单元的若干个值中有一个被拿掉，单元仍然输出剩下那些值里最大的一个，输出不会因此被抛到很远的地方。对于一个不断移除单元的正则化手段来说，这正是它所移除的那些部件需要具备的性质。

验证与结果

作者表示，他们通过实验验证了这个模型完成了上述两项任务^[1]。他们还报告，在 MNIST、CIFAR-10、CIFAR-100 和 SVHN 四个基准数据集上，maxout 与 dropout 的组合取得了当时最好的分类性能^[1]。这四个都是图像分类里通用的基准，也就是说，这一结论在多个不同的问题上都做过检验，而不是只在一个数据集上成立。

为什么重要

这篇论文的论证讲的是协同设计。dropout 通常被介绍成一种通用技巧，可以加在一个已经搭好的网络上；Maxout Networks 走的是另一条路：先把单元本身挑成适合这个正则化手段的样子，再到基准上检验结果^[1]。对刚开始学这一行的人来说，它是一个紧凑的例子：怎样把一个正则化手段当作近似模型平均来分析，怎样用「是否有助于这个近似」来判断一项结构选择，以及怎样检验这种选择——在多个标准数据集上，对照当时已发表的最好结果。