诺姆·沙泽尔（Noam Shazeer）

概况

诺姆·沙泽尔（Noam Shazeer）是一位长期在Google工作的AI研究员。他是《Attention Is All You Need》的第二作者，这篇2017年的论文提出了Transformer架构。他还是论文《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》的第一作者，该研究提出了稀疏门控专家混合层（sparsely-gated mixture-of-experts layer）。^[2][3]

教育与早期研究

沙泽尔1994年至1998年在杜克大学（Duke University）学习数学与计算机科学，并与杜克大学代表队一起在普特南竞赛（Putnam）中获奖。^[1] 在1994年国际数学奥林匹克（International Mathematical Olympiad）上，他作为美国队成员获得金牌，并取得满分。^[1] 2000年他加入Google，早期工作包括改进搜索的拼写纠错功能。^[1]

主要贡献

2017年1月，沙泽尔以第一作者身份发表了上述专家混合层论文，Geoffrey Hinton和Jeff Dean也在作者之列。该研究使用了多达数千个专家，模型参数规模达到1370亿。^[2]

专家混合层可以这样理解：网络中有许多小型子网络，即“专家”，再由一个门控机制为每个输入只挑选其中少数几个参与计算。这样，模型可以拥有非常庞大的参数量，而每次处理一个输入时只动用其中一小部分，从而控制计算成本。

2017年6月，他担任《Attention Is All You Need》的第二作者。2019年10月，他又参与了T5论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》的写作，该研究把许多语言任务统一为“输入文本、输出文本”的形式。^[3][4]

任职经历

沙泽尔在Google期间，与Daniel De Freitas一同开发了聊天机器人Meena。Google没有公开发布这一产品。2021年10月，沙泽尔离开Google，共同创办了Character.AI，并担任CEO。^[1]

2024年8月2日，他与De Freitas一同回到Google，加入Google DeepMind团队。同一时期，Google与Character.AI签署了非独占的技术授权协议，据报道金额为27亿美元。沙泽尔成为技术负责人之一，并担任Gemini（Google的AI模型系列）的联合负责人。^[5]

2026年6月18日，他宣布将离开Google加入OpenAI。OpenAI首席研究官Mark Chen表示，沙泽尔将在那里领导AI架构研究。^[6]

影响

沙泽尔的工作涉及两条与后来语言模型发展直接相关的研究线：一是Transformer，二是在增加模型容量的同时，不让每个输入都动用全部参数的专家混合层。他的职业轨迹先后跨越Google、创业公司Character.AI和OpenAI。^[5][6]