谷歌研究院（Google Research）

机构概况

谷歌研究院（Google Research）是谷歌公司的研究部门，位于加利福尼亚州山景城，一般把 2000 年记作它的成立年份。^[1] 它的工作既包括面向语言的机器学习，也包括大规模学习基础设施，以及把计算方法用于其他学科的问题。

起源：Google Brain

深度学习方向的起点是 2011 年在 X 内部启动的 Google Brain 团队，最初是 Jeff Dean、Greg Corrado 和 Andrew Ng 三人的合作项目。^[2] 2013 年，谷歌聘用了 Geoffrey Hinton，并收购了他围绕神经网络研究成立的公司 DNNResearch。^[2] 内部的小团队加上从学术界引进的人，构成了此后研究队伍的基本形态。

Transformer

这个部门最广为人知的单项成果出现在机器翻译方向。论文《Attention Is All You Need》于 2017 年 6 月 12 日提交到 arXiv，并在 2017 年 6 月发表，提出了 Transformer 架构——今天的大语言模型所用的正是这一架构。^[6][1] 论文共有八位作者，除 Ashish Vaswani 和 Noam Shazeer 外，还包括 Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin。^[6]

2017 年 8 月 31 日，谷歌研究院的一篇博客文章把 Transformer 描述为一种基于自注意力（self-attention）机制的新型神经网络架构，在翻译基准上优于循环模型和卷积模型。^[8] 自注意力的做法是让序列中的每个位置直接与所有其他位置计算权重，而不像循环网络那样把信息一步步向前传递。这样一来，句子内部的长距离关系可以在少数几层里建立起来，训练时的并行也更容易做。

BERT 与 T5

2018 年，谷歌 AI Language 团队的 Jacob Devlin、Ming-Wei Chang、Kenton Lee 和 Kristina Toutanova 开发了 BERT，论文于 2018 年 10 月 11 日发布在 arXiv 上。论文报告 BERT 在 GLUE 基准上取得 80.5% 的分数，比此前结果绝对提升 7.7 个百分点。^[7] 2018 年 11 月 2 日，谷歌研究院把 BERT 的代码和预训练模型开源。^[3]

语言方向的另一项成果是 T5（Text-to-Text Transfer Transformer）。T5 把每一种语言任务都统一成「输入文本、输出文本」的形式，并随模型一起发布了 C4 网页抓取数据集。^[4]

语言之外

这个部门的工作并不限于语言。公开列出的成果还包括支撑谷歌翻译（Google Translate）的神经机器翻译系统、洪水预报、大规模学习基础设施，以及通过 Google Accelerated Science 完成的低于阈值的量子计算，后者于 2024 年 12 月发表在《Nature》上。^[1]

2023 年的重组

2023 年 4 月 20 日，谷歌把 Brain 团队与 DeepMind 合并，组成由 Demis Hassabis 领导的 Google DeepMind，Jeff Dean 转任谷歌首席科学家。^[5] 这一调整把原本作为独立团队运作的 Brain 研究力量放进了公司统一的 AI 组织之下。

意义

Transformer 论文及随后的模型给出的是一套可复用的做法：以注意力为核心的架构、在大规模文本上预训练的方式，以及别人可以直接接着做的开放权重。BERT 开源的代码与预训练模型、T5 与公开数据集一起发布的文本到文本框架，都降低了进入这一方向的门槛。^[3][4] 这段历史也说明了此类研究的去向：当 Brain 团队在 2023 年被并入 Google DeepMind 时，它已经从一个内部小组变成了公司主体 AI 组织的一部分。^[5]