深度稀疏整流神经网络

论文要回答的问题

训练一个纯监督的深度神经网络——不在监督目标之前加一个无监督预训练阶段——在当时是被公认的难题。这篇论文把自己的结果定位为理解这一难题的一个里程碑 ^[1]。作者要问的是：如果把常用的挤压型非线性换成整流神经元，会发生什么；在标注数据充足时，这样的网络能不能训练好 ^[1]。

什么是整流神经元

整流（rectifier）神经元对输入只做一半的响应：负值一律压成零，正值则原样线性通过。这是一个很硬的非线性，并且在零点处按通常意义没有导数。这两点都使它区别于 logistic sigmoid 和双曲正切（hyperbolic tangent）——后两者是平滑弯曲的，不会在一整段输入区间上停在零。正因为整流神经元对每一个负输入都输出精确的零，由这类神经元构成的一层会产生这样一种表示：其中许多单元是真正关掉的，而不只是数值很小。

作者报告了什么

摘要给出了四点结论。其一，整流神经元是比 logistic sigmoid 或双曲正切神经元更好的生物神经元模型 ^[1]。其二，由整流神经元构成的网络性能与双曲正切网络相当或更好，而且这是在存在硬非线性和零点不可微的情况下取得的 ^[1]。其三，整流神经元会产生带有真正零值的稀疏表示，适合本身就稀疏的数据 ^[1]。其四，在标注数据集很大的纯监督任务上，深度整流网络无需无监督预训练就能达到最佳表现 ^[1]。摘要把这些结果合起来，视为理解「训练深层的、纯监督的神经网络为何困难」的一个里程碑 ^[1]。

发表在哪里

这篇由 Xavier Glorot、Antoine Bordes 和 Yoshua Bengio 撰写的论文，收录于 2011 年第 14 届人工智能与统计国际会议（International Conference on Artificial Intelligence and Statistics）的论文集 ^[1]，刊于《机器学习研究论文集》（Proceedings of Machine Learning Research）第 15 卷第 315 至 323 页 ^[1]。会议于 2011 年 4 月 11 至 13 日在美国佛罗里达州劳德代尔堡举行，论文集由 Geoffrey Gordon、David Dunson 和 Miroslav Dudik 编辑 ^[1]。

为什么重要

论文有两点分量尤重。把整流神经元与生物神经元相比较，使激活函数的选择不再只是计算上的方便与否：按摘要的说法，整流器是更忠实的神经元模型 ^[1]。关于无监督预训练的那条结论则直接关系到实践——它说明当标注数据充足时，深度整流网络不需要额外的无监督阶段也能达到最佳表现 ^[1]。而稀疏性那条结论解释了为什么表示中的精确零值可以是优点而非缺陷：当数据本身稀疏时，带真正零值的表示正好合身 ^[1]。论文自己的措辞是克制而诊断性的：它把这些发现当作理解深层监督网络训练困难的一步，而不是这一探究的终点 ^[1]。