用强化学习做神经架构搜索

要解决的问题

深度神经网络在图像、语音和语言这些困难任务上已经表现得很好，但设计网络本身仍然很难 ^[1]。设计一个网络，意味着要决定它有多少层、每一层做哪种运算、层与层之间怎么连接、哪些连接要跨层直通。这些决定过去都由人来做，靠研究者的经验和一次次试错。这个循环很慢：每个候选设计都得先搭起来、训练完，才知道它好不好；而可能的设计数量又远远超出人工尝试的范围。

这篇论文问的是：设计这件事本身能不能交给机器来做，并且给出了一个可行的办法。

怎么做的

作者用一个循环网络（recurrent neural network，RNN）来生成神经网络的模型描述 ^[1]。循环网络一次处理序列中的一个元素，并在内部维持一个不断更新的状态，因此很适合一步一步地生成有结构的东西。在这里，它生成的序列就是一段网络描述：控制器每走一步，就给出关于某一层的一个选择——这一层做哪种运算、怎样接到前面的部分上——按顺序读出来的这一串选择，就是网络结构本身。

控制器并不是在已有好结构的语料上训练的。它用强化学习（reinforcement learning）训练，目标是让它生成的网络在验证集（validation set）上的期望准确率尽可能高 ^[1]。整个过程是一个循环：控制器先采样一批结构，每个结构都被搭建并训练，它在留出的验证数据上的准确率就成了奖励信号；随后更新控制器的参数，让得分高的设计以后更容易被生成，得分低的设计更不容易被生成。用验证集而不是训练数据来评判候选结构很关键，因为一个只拟合了自己训练数据的结构算不上好设计。

结果

在 CIFAR-10 上，这个方法从零开始，设计出一个在测试准确率上可以与人类发明的最好结构相匹敌的网络 ^[1]。这个模型的测试错误率为 3.65，作者称它比此前用类似方案取得的最好结果好 0.09%、速度快 1.05 倍 ^[1]。

搜索也不限于把熟悉的部件拼成整个网络。在 Penn Treebank 上，模型组合出一个新的循环单元，击败了广泛使用的 LSTM 单元和其他基线，测试困惑度（perplexity）为 62.4 ^[1]。困惑度是衡量语言模型对序列中下一个词的预测有多不确定的常用指标，数值越低越好，所以 62.4 意味着搜索出的单元在留出文本上的预测优于对照模型。

为什么重要

这篇论文的贡献在于改变了架构设计的定位。过去是人提出一个结构再去测试它；现在结构成了一个生成器的输出，而这个生成器是朝着实测性能去优化的。同一套机制可以在不同尺度上工作：它既能为一个图像任务铺出整个网络，也能发明像循环单元这样单独的可复用部件——Penn Treebank 上的结果表明，搜索出来的单元性能超过了 LSTM 这个被广泛使用的构件 ^[1]。由于控制器是被训练出来的而不是手工写死的，这个方法不依赖研究者预先列好的一份候选设计清单。

这篇题为《Neural Architecture Search with Reinforcement Learning》的论文由 Barret Zoph 和 Quoc V. Le 撰写，于 2016 年 11 月 5 日首次提交到 arXiv，编号为 1611.01578 ^[1]。