谷歌公开自研 AI 芯片 TPU

什么是 TPU

TPU（Tensor Processing Unit，张量处理单元）是一种专用集成电路（ASIC）——从设计之初就只为某一类计算服务，而不是像通用处理器那样什么都能做。谷歌的这一款专门为机器学习打造，并针对自家用于搭建和训练神经网络的框架 TensorFlow 做了适配^[1]。这项工作在公开之前保密了几年，谷歌后来把它称为一个「秘密项目」（stealthy project）^[1]。

公布

2016 年 5 月，谷歌的 Google Fellow Norm Jouppi 在一篇题为「Google supercharges machine learning tasks with TPU custom chip」的博客文章中公开了 TPU^[1]。文章里有两点值得注意。第一，它不是纸面上的计划：TPU 已经在谷歌的数据中心里运行了一年多^[1]。第二，是效率上的说法。谷歌称它在机器学习上取得了每瓦性能优化程度提升一个数量级的效果，并把这个跨度比作快进七年，相当于摩尔定律（Moore's Law）走了三代^[1]。摩尔定律说的是芯片上能容纳的晶体管数量大约每两年翻一番；按常规工艺进步，三代的差距通常要等七年左右。

用精度换吞吐

这颗芯片的一个核心设计选择是：容忍更低的计算精度^[1]。神经网络里的绝大部分算术是乘法加加法——把一个输入值乘上一个权重，再加进一个累加的总量里。数字用更少的位来表示，每次运算在硬件上就更便宜，每个运算需要的晶体管更少，同样一块硅片每秒就能容纳更多运算^[1]。代价是精确性：单个结果会比用更宽的数字表示时略不准确，换来的是运算数量的大幅增加。

当时已经在跑什么

谷歌点了三类负载。TPU 支撑着用于搜索结果相关性的 RankBrain，以及街景（Street View）^[1]；在与围棋世界冠军李世石的对局中，AlphaGo 也由 TPU 提供算力^[1]。这几个例子之所以值得一提，是因为它们性质各不相同：搜索排序、街景图像和棋类对弈。

完整的技术说明

详细的描述在 2017 年 4 月给出，是一篇为 ISCA 2017 会议准备的论文。论文报告芯片有 65,536 个 8 位乘加单元（multiply-accumulate unit），峰值每秒 92 万亿次运算^[2]。在谷歌自家的推理负载上——也就是运行一个已经训练好的模型，而非训练模型——它相比当时的 GPU 和 CPU，速度高出 15–30 倍，每瓦性能高出 30–80 倍^[2]。这些数字的适用范围很重要：比较是在推理上做的，也是在谷歌自己的负载上做的，而不是在所有类型的计算上。

之后

谷歌一代代把这条产品线做了下去。到 2025 年 4 月发布第七代芯片 Ironwood 时，谷歌表示 TPU 已经为它最繁重的 AI 训练与推理服务提供了十多年算力^[3]。