Quoc Le

概况

Quoc Le 是一位从事机器学习研究的计算机科学家。他的名字出现在几个不同方向的论文上：从无标注数据中学习特征、把一个序列映射为另一个序列、自动搜索网络架构，以及放大图像模型的规模。他在斯坦福大学的博士论文研究的是大规模条件下的特征学习。^[3]

博士阶段

斯坦福大学图书馆的记录中列有一篇题为「Scalable feature learning」的博士论文，作者是 Quoc V. Le，提交于 2013 年，记录中注明的主导师是 Andrew Y. Ng。^[3] 这个题目贴近现代机器学习运作方式的核心。模型不再由人手工指定应该关注数据的哪些度量，而是拿到原始数据，自己学出一套表示，也就是一组特征。论文题目指向的是这个问题在大规模情形下的版本：数据量大、模型也大，方法必须在规模上去之后依然可用。

从无标注数据中学到高层特征

2011 年 12 月 29 日提交到 arXiv 的论文《Building high-level features using large scale unsupervised learning》，Le 是共同作者之一，其他作者包括 Marc'Aurelio Ranzato、Rajat Monga、Matthieu Devin、Kai Chen、Greg S. Corrado、Jeff Dean 和 Andrew Y. Ng。^[1] 无监督学习（unsupervised learning）指的是在没有标签的数据上训练模型——没有人事先标注哪些样本属于哪一类。题目提出的问题是：这种训练在大规模条件下进行时，能否得到「高层」特征，也就是对宽泛类别作出反应的内部单元，而不是只对原始像素或简单边缘作出反应。

序列到序列

《Sequence to Sequence Learning with Neural Networks》由 Le 与 Ilya Sutskever、Oriol Vinyals 合作完成，2014 年 9 月 10 日提交到 arXiv。^[2] 它描述的情形是输入和输出都是序列——例如句子——模型要先读入输入，再生成输出，而输出不必与输入等长。「序列到序列」（sequence to sequence）这个说法后来成了把整个映射当作一个可学习问题的名字，而不是把它拆成一串分别设计的步骤。这篇论文发表在 NeurIPS 2014 上；NeurIPS 后来公布了 2024 年时间检验论文奖（Test of Time Paper Award），评选对象是 2014 年在该会议上发表的论文，序列到序列这篇名列获奖者之中。^[4] 这类奖项回看十年，挑出的是当年会议上意义经受住时间检验的工作。

神经架构搜索

《Neural Architecture Search with Reinforcement Learning》由 Le 与 Barret Zoph 合作，2016 年 11 月 5 日提交到 arXiv。^[5] 神经网络的架构就是它的布局：有多少层、每一层做什么、层与层之间怎么连接。设计这种布局传统上依赖人的判断，并通过实验来摸索。题目给出了论文探索的另一条路——把架构的选择交给一个学习算法自己去做。强化学习（reinforcement learning）是机器学习的一个分支，系统通过试错来学习，依据得到的奖励调整自己的行为；在这里，这套机制被用在设计决策上，而不是用在网络之后要训练的任务上。

EfficientNet

《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》由 Le 与 Mingxing Tan 合作，2019 年 5 月 28 日提交到 arXiv。^[6] 卷积网络（convolutional neural network）是图像识别的标准架构，它有几个各自独立的「旋钮」可以把模型做大：更多层、更宽的层，或者分辨率更高的输入图像。这篇论文处理的正是这些旋钮该怎么拧——是逐个加大，还是按某种比例一起加大——从而让多出来的计算量换来尽可能多的精度。题目里的「efficient」指的就是模型规模与预测质量之间的这个权衡。

一条反复出现的思路

把这几个工作放在一起，会看到一种相似的思路反复出现。本来要由人手工做出的决定——用哪些特征、怎样把一个序列带到另一个序列、搭什么样的架构、把它放大到什么程度——被变成可以学习、可以搜索、也可以度量的东西。这条线索把一篇关于可扩展特征学习的博士论文，与后来的序列模型、架构搜索和图像模型工作连在了一起。