深度学习（Nature 综述）

综述要讲清的东西

到这篇综述发表时，深度学习方法已经大幅提升了语音识别、视觉物体识别、物体检测，以及药物发现、基因组学等许多领域的最好成绩^[1]。这些结果背后究竟是什么，需要一份系统的说明。2015年，Yann LeCun、Yoshua Bengio 与 Geoffrey Hinton 在《自然》（Nature）第521卷第436至444页发表了综述文章《Deep learning》^[1]。文章不是发布某一个新模型，而是把定义、训练方法和产生这些结果的网络类型摆在一起讲清楚。

多层处理与多层抽象

作者给出的定义很紧凑：深度学习让由多个处理层组成的计算模型学习具有多个抽象层次的数据表示^[1]。所谓「表示」，就是数据在模型内部被描述成什么样——一张图片被写成哪一组数，一段音频、一句话被写成哪一组数。在旧的流程里，这样的描述常常要人手工设计；在这里，表示由层自己学出来。每一层把下一层的输出重新写一遍，越往上，描述越抽象，但都是由下面几层的描述搭起来的。打个比方，如果输入是一张图片，靠下的层可能只对局部的明暗变化敏感，靠上的层则把这些局部线索组合成更大的结构。

训练：反向传播

综述也说明了参数是怎么定下来的：深度学习利用反向传播（backpropagation）算法在大型数据集中发现复杂的结构，反向传播指出机器应当如何调整内部参数^[1]。用直白的话说，模型先对数据给出一个预测，算出误差，再把误差信号沿着层往回传，让每个参数知道自己该往哪个方向改；在大型数据集上反复做这件事，模型的内部表示就被一点点塑造出来。反向传播是把多层结构和数据连起来的那一环。

不同数据用不同网络

作者区分了两类网络。深度卷积网络（deep convolutional nets）在图像、视频、语音和音频处理上带来了突破^[1]：卷积让一组小滤波器在信号上滑动，同一个局部模式无论出现在哪里都能被拾取出来，因此适合排列成网格或沿时间展开的数据。循环网络（recurrent nets）则为文本、语音这样的序列数据提供了启发^[1]：它在序列的相邻元素之间传递状态，所以元素的顺序是有意义的。选哪一种结构，取决于数据长什么样。

这篇综述的判断

文章对重要性的说明是经验性的，而不是宣言式的：这些方法在作者列出的那些领域提升了当时的最高水平，从语音识别、物体识别一直到药物发现与基因组学^[1]。把定义、训练算法和两类网络放进同一篇文章里，读者就有了共同的词汇——多个处理层、抽象层次、反向传播。《自然》把这篇文章列为第521卷第436至444页、2015年发表^[1]。