巴雷特·佐夫（Barret Zoph）

概况

巴雷特·佐夫（Barret Zoph）是一位 AI 研究者，公开身份横跨研究与管理工作。他的 X 个人资料显示，他是 Thinking Machines Lab 的联合创始人兼 CTO，同时担任 Google DeepMind 的研究副总裁^[6]。与他名字联系最紧的是两条工作线：一条是由他担任第一作者的神经架构搜索，另一条是 Switch Transformer 的共同作者身份。

从 Google Brain 驻留项目起步

佐夫说过，他的 AI 生涯是从 Google Brain 的驻留项目（Residency）那一届开始的^[4]。这类驻留项目是进入工业界 AI 实验室的常见入口：研究者在固定的一段时间里进入实验室，和研究人员一起做真实项目，而不是先上课修学位。对一个刚入行的人来说，驻留期学到的往往是机器学习研究的日常做法——跑实验、看结果、判断下一步试什么。

神经架构搜索

2016 年 11 月 5 日，论文《Neural Architecture Search with Reinforcement Learning》提交到 arXiv，佐夫是第一作者，合作者是 Quoc V. Le^[1]。

这篇论文处理的是深度学习里一个很基础的问题。一个神经网络的结构——包含哪些层和运算、彼此怎样连接——过去通常由人手工挑选，靠经验加反复试错。论文的想法是把这个选择本身也变成学习的一部分：用一个可学习的控制器提出候选结构，每个候选结构都在任务上训练并评估，评估得到的表现作为奖励信号反馈回去，控制器据此调整，使下一次提出的结构更好。结构于是不再是被事先指定的，而是被搜索出来的。方法之所以属于强化学习，正是在这个意义上：系统采取行动（提出设计），并用收到的奖励（最终网络的表现）来改进行动。

Switch Transformer

2021 年 1 月 11 日，论文《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》提交到 arXiv，作者包括 William Fedus、Noam Shazeer 和佐夫^[2]。

标题指向的是大模型里的一个基本权衡。在稠密网络里增加参数数量，通常也会增加每个输入所需的计算量，因为每一个参数都要参与每一次前向计算。稀疏性提供了另一条路。在稀疏的混合专家（mixture-of-experts）模型中，网络里包含许多各自独立的「专家」子网络，另有一个路由机制，把每个输入只送给其中一小部分专家。这样一来，对任意一个输入来说大部分参数都没有被用到，模型就可以在单个输入计算成本不变的前提下容纳多得多的参数。

在实验室之间移动

在 Google Brain 工作六年后，佐夫在 X 上宣布自己加入了 OpenAI^[3]。在另一条 X 帖子里，他写到自己将加入 Google DeepMind，从事强化学习与后训练（post-training）方面的工作^[4]。The Next Web 在报道这次变动时，把标题写成「六年后、两家创业公司之后」重返 Google^[5]。他的 X 资料同时列着 Thinking Machines Lab 与 Google DeepMind，因此把一家新公司的联合创始人身份和 Google AI 部门的研究领导职位并列在一起^[6]。

这两条工作线意味着什么

两篇论文处在同一件事的不同层次上。一篇问的是网络形状由谁决定，并主张把这个决定交给一个学习系统，而不是交给直觉；另一篇问的是怎样在不显著提高每个输入处理成本的前提下把模型做大，给出的答案是稀疏化。两者合起来，覆盖的是大规模机器学习系统设计里反复出现的两个问题：设计选择从哪里来，以及容量以什么方式被支付。