用大规模无监督学习构建高层特征

要解决的问题

图像识别在很长时间里依靠两样东西：人工标注的数据，和人工设计的特征。标注很贵——要让机器分出两万个物体类别，就得有人一张张看过图片并打上标签；而人工设计的特征，比如边缘、角点、纹理统计量，只能装进研究者事先认为有用的东西。

这篇论文在2012年爱丁堡举行的ICML上发表，问的是一个更窄也更难的问题：如果只给原始的无标注图像，一个足够大的网络能不能自己找出高层特征？作者是 Quoc V. Le、Marc'Aurelio Ranzato、Rajat Monga、Matthieu Devin、Kai Chen、Greg S. Corrado、Jeff Dean 和 Andrew Y. Ng^[1]。

网络是怎么搭的

模型是一个9层的局部连接稀疏自编码器（locally connected sparse autoencoder），带池化（pooling）和局部对比度归一化（local contrast normalization）^[1]。这几部分各有分工。自编码器（autoencoder）的训练目标是让输出还原输入，信息必须穿过中间较窄的一层；要还原得好，网络就得保留输入里有用的结构、丢掉噪声。稀疏（sparse）则要求同一时刻只有少数单元活跃，迫使不同单元各自负责不同的模式。局部连接意味着每个单元只看下一层的一小块区域，并把权重与其他位置共享——图像里同一条边缘、同一种纹理可以出现在任何地方，这种共享正合适。池化把相邻单元的响应合并起来，让某个特征平移一两个像素后仍然触发。局部对比度归一化按邻域的对比度重新缩放响应，使同一图案在不同光照下被认作同一件事。

训练数据是从互联网下载的1000万张200×200像素的图像^[1]。其中没有任何标注。

训练：把规模摊开

难点在规模。这个网络有10亿个连接，作者用模型并行（model parallelism）和异步随机梯度下降（asynchronous SGD），在一台由1000台机器、16000个核组成的集群上训练了三天^[1]。模型并行指把网络本身拆到不同机器上，一层的激活值分散在各地，必须互相通信；异步随机梯度下降指许多工作节点各自在一小批数据上计算梯度、更新同一份参数，彼此不等待——如果每一步都要等，集群的大部分时间会浪费在空转上。梯度下降本身是常见做法：沿着让误差变小的方向一点点调整参数；随机指每一步只用一小批样本，而不是全部数据。

学到了什么

作者强调的结果是：可以在完全不用标注「这张图里有没有人脸」的情况下，训练出一个人脸检测器^[1]。网络从没被告知人脸是什么，其中的单元却对人的脸有强烈响应。对照实验显示，这个检测器对平移、缩放和平面外旋转都保持稳健^[1]——脸在画面里挪动位置、离镜头更近或更远、转到侧面，单元依然会被激活。同一个网络对猫脸、人体等其他高层概念也有响应^[1]。

这些特征还能直接拿去做识别任务。从学到的特征出发，网络在ImageNet的20000个物体类别上达到15.8%的准确率，相对此前最好结果提升了70%^[1]。两万个类别意味着随机猜测几乎不可能命中，15.8%远谈不上解决问题；但在特征本身没有用过标签的前提下，比此前最好系统高出这样一截，正是这篇论文难以被忽略的原因。

为什么重要

Google Research 的论文页面把这篇文章列为 ICML 2012 的发表成果，作者仍是同样的八人^[2]。这篇论文同时给出了两样东西。一面是学习上的：无标注的原始像素，足以长出一个可用的高层特征，人脸检测只是其中最直观的例子。另一面是工程上的：10亿连接的模型、三天的训练时间，只有把计算摊到上千台机器上才做得到，模型并行和异步更新不是可有可无的细节，而是让这个实验成立的前提。人脸检测器因此成为一个清楚的证据：标签并不是所有高层特征的必需品。