谷歌大脑（Google Brain）

是什么

谷歌大脑（Google Brain）是谷歌内部的深度学习研究团队，2011 年在谷歌的「登月」孵化器 X 内起步，最初是 Jeff Dean、Greg Corrado 与斯坦福大学教授吴恩达（Andrew Ng）的一次合作^[1]。团队研究的是神经网络——由大量简单的数值单元分层堆叠而成，单元之间的连接权重在训练中不断调整——并且把这些网络放在以往很少有人真正尝试过的规模上运行。

识别猫的实验

团队第一个被广泛报道的成果出现在 2012 年 6 月，谷歌于 6 月 26 日在博客上公布了它^[2]。这个网络有超过 10 亿个连接，分布在 16000 个 CPU 核心上，训练数据是从 YouTube 视频里截取的无标注静态画面^[2]。无标注意味着没有人在事前给这些图像打标签，网络只能自己从原始像素里找出结构。网络中的一个人工神经元学会了检测猫，对含有猫的图像反应最强^[2]。团队报告说，在一项标准图像分类测试上，准确率取得了 70% 的相对提升^[2]。真正流传开的是那个细节：一个概念从原始视频中自行浮现，没有人告诉它这个概念叫什么。

组建团队

2013 年，谷歌聘用了 Geoffrey Hinton，并收购了他与 Alex Krizhevsky、Ilya Sutskever 共同创办的公司 DNNResearch；Sutskever 随后成为谷歌大脑的研究科学家^[6]。

2014 年 9 月，Sutskever、Oriol Vinyals 与 Quoc Le 发表了《Sequence to Sequence Learning with Neural Networks》，其中提出的编码器—解码器（encoder-decoder）思路成为后来神经机器翻译的基础^[7]。在这种结构里，一个网络把整个输入序列读成一个内部表示，另一个网络据此生成输出序列，因此同一个模型可以处理长度不同的输入和输出。

工具与翻译

2015 年 11 月 9 日，谷歌将机器学习框架 TensorFlow 开源^[5]。框架公开之后，外部研究者可以在团队内部使用的同一套工具上继续搭建自己的工作。

2016 年 9 月，谷歌推出谷歌神经机器翻译（Google Neural Machine Translation，GNMT），它按上下文整句翻译，而不是逐词拼接^[1]。整句翻译之所以重要，是因为词序和词义都依赖句子的其余部分。

Transformer

2017 年 6 月，包括 Ashish Vaswani 和 Noam Shazeer 在内的谷歌研究者发表了《Attention Is All You Need》，提出了 Transformer 架构^[4]。这篇论文于 2017 年 6 月 12 日提交到 arXiv，提出的架构完全建立在注意力机制之上^[4]。注意力让序列中的每个位置可以直接衡量其他所有位置，而不必像循环结构那样逐步传递信息。

规模

2022 年 4 月，Google Research 公布了 PaLM，这是一个用 Pathways 系统训练的、5400 亿参数的语言模型^[8]。参数是模型内部可调整的数值，千亿量级的参数量描述的是被训练出来的容量。

并入 Google DeepMind

2023 年 4 月 20 日，谷歌把大脑团队与 DeepMind 合并，组成由 Demis Hassabis 担任首席执行官的 Google DeepMind，Jeff Dean 转任谷歌首席科学家。Sundar Pichai 把 AlphaGo、Transformer、word2vec、WaveNet、AlphaFold、序列到序列模型、蒸馏、深度强化学习，以及 TensorFlow 和 JAX 都归功于这两个团队^[3]。

在发展中的位置

谷歌大脑所处的位置，是学院式深度学习研究变成大公司内部生产系统的那一段：一个小组从孵化器里起步，用一次实验说明在无标注的原始数据上训练也能浮现出可辨识的东西，再通过招聘与收购把人聚拢起来，随后接连公开发表方法和框架，供外部沿用^[1][2][5][6]。2023 年的合并把这项工作与 DeepMind 放进了同一个组织^[3]。