用图形处理器进行大规模深度无监督学习

要解决的问题

很多有用的机器学习方法属于无监督学习：不给标签，只让模型自己去数据里找结构。这篇论文考察了两种这样的模型——深度信念网络（deep belief network）与稀疏编码（sparse coding）^[1]。深度信念网络是一层叠一层的随机单元网络，训练时让每一层去表示下一层的活动；稀疏编码则把每个输入表示成少数几个学到的基函数的组合。两者的计算都由大量矩阵与向量运算构成，而且要在大规模数据上反复进行，因此训练代价随模型规模和数据量迅速上升。真正卡住进展的往往不是数学，而是算力。

怎么做的

作者的出发点是关于硬件的一个判断：现代图形处理器在计算能力上远超多核 CPU，有潜力改变深度无监督学习方法能被应用的范围^[1]。图形处理器天生擅长对许多数据同时做同样的简单运算，而这恰好是这类模型内部大部分计算的样子。论文提出了一套把无监督学习任务大规模并行化的通用原则^[1]：哪些计算可以同时跑、数据怎么摆放才能让众多并行单元一直有活干、训练流程怎么组织才不会让快硬件停下来等慢步骤。

结果

在深度信念网络上，模型较大时他们的实现比双核 CPU 实现快最多 70 倍^[1]。更直观的一个数字是：学习一个四层、拥有 1 亿个自由参数的深度信念网络，所需时间从数周缩短到大约 1 天^[1]。在稀疏编码上，他们设计了一个简单且天然并行的算法，比以往方法快 5 至 15 倍^[1]。

发表

论文题为《Large-scale Deep Unsupervised Learning using Graphics Processors》，作者是斯坦福大学的 Rajat Raina、Anand Madhavan 和 Andrew Y. Ng，2009 年在蒙特利尔举行的第 26 届国际机器学习大会（ICML）上发表^[1]。ACM 数字图书馆将其收录于 ICML '09 论文集第 873 至 880 页，DOI 为 10.1145/1553374.1553486，出版日期为 2009 年 6 月 14 日^[2]。

为什么重要

这些数字表面上讲的是耗时，真正的意义在于省下来的时间能换来什么。一个要训练几周的模型，基本只能试一次；一个大约一天能训练完的模型，可以反复尝试、与其他方案对比、继续放大。论文还说明，原本为绘制图像而设计的图形处理器，在这类负载上可以代替多核 CPU——这实际上是在为机器学习主张另一种机器形态：大量较慢的简单并行单元，而不是少数快速的通用核心。这一论证建立在两种标准的无监督模型之上，并给出 1 到 2 个数量级的加速，帮助图形处理器确立了作为训练大型模型的正经工具的地位；此后，用图形处理器做深度网络的训练逐渐成为常规做法。