谷歌第一代 TPU

是什么

张量处理单元（Tensor Processing Unit，TPU）是谷歌设计的一款专用集成电路（ASIC），用来加速神经网络的推理（inference）阶段，也就是训练好的模型对外回答请求、而不是继续训练的那一步。这类芯片从 2015 年起就部署在谷歌的数据中心里，2016 年 5 月才首次对外公开^[1]。

由来

2013 年，谷歌做过一个测算：如果人们每天用 3 分钟语音搜索，支撑它的语音识别网络所需要的算力，会让公司的数据中心规模翻一倍^[1]。这个测算促成了一个高优先级项目：做一颗专门用于推理的 ASIC。团队在训练一侧继续采购现成的 GPU，把自研芯片放在量最大的推理一侧^[1]。目标写得很具体：性价比要达到 GPU 的 10 倍^[1]。

设计与规格

进度很紧。从设计、验证、流片到部署进数据中心，一共用了 15 个月；谷歌说团队在拿到第一版硅片后的 22 天内就让应用跑到了应有的速度^[1]。

芯片的核心是一个矩阵乘法单元，里面有 65,536 个 8 位乘加单元，峰值算力为每秒 92 万亿次运算，另外配有 28 MiB 由软件管理的片上存储^[1]。不用通用处理器的 32 位浮点，而用 8 位整数做算术，好处是每个运算单元占的硅面积和功耗都更小，同样的芯片面积可以塞进多得多的乘法器，代价是精度下降——对推理来说，这个取舍通常是划算的。

芯片采用 28 纳米工艺，主频 700 MHz，热设计功耗 75 W，满载时实测约 40 W；权重存放在 8 GiB 的片外 DDR3 内存里，读取带宽 34 GB/s^[1]。它作为协处理器挂在 PCIe 总线上，一块 TPU 板卡可以直接插进谷歌机架上的硬盘位，原有机器不必重新设计^[1]。

结果

公开的性能分析来自 Norman Jouppi 及谷歌同事在 2017 年 ISCA 发表的论文。在谷歌自己的生产负载上，TPU 平均比当时的 Nvidia K80 GPU 或 Intel Haswell CPU 快约 15–30 倍，每瓦性能高 30–80 倍^[1]。

这些对比不是挑好跑的任务凑出来的：基准负载包括多层感知机、卷积神经网络和 LSTM，三者合计代表了谷歌数据中心推理需求的 95%^[1]。其中就有搜索用的 RankBrain、谷歌神经机器翻译系统的一部分，以及 DeepMind 的 AlphaGo^[1]。谷歌称 TPU 支撑了 RankBrain 和街景；AlphaGo 在与李世石对局时就运行在 TPU 上，让它在每一步之间想得更快、看得更远^[2]。

意义

TPU 是一个记录得比较完整的早期例子：一颗用途很窄的芯片，在通用硬件本来就能干的活上真的赢了。结论不是靠合成测试得出的，而是来自线上服务；论文也把机器的架构、存储层次和数字背后的负载一并交代了出来^[1]。它还标出了一个分工的位置：训练继续用现成 GPU，推理转向自研芯片^[1]。同样说明问题的是部署上的细节——走 PCIe 的协处理器、插进硬盘位的板卡、由软件管理的片上存储而不用缓存——正是这些选择，让一种全新的芯片能直接塞进早已装满普通服务器的机架里^[1]。