Google TPU v3

是什么

Google TPU v3 是 Google 自研的张量处理单元（Tensor Processing Unit，TPU）的第三代产品，于 2018 年推出^[1]。TPU 是加速器（accelerator），不是通用处理器：它部署在数据中心里，与通用 CPU 并列，专门承担神经网络中最耗时的密集数值计算，主要是大规模的矩阵与向量运算。Google 通过 Google Cloud 对外提供这款芯片，因此它既服务于 Google 自身的业务，也供云上客户使用^[1]。

相比第二代的变化

最直接的变化在内存。v3 的内存翻倍到 32 GB 的 HBM（high bandwidth memory，高带宽内存），内存带宽提升到 900 GB/s^[1]。HBM 把多层 DRAM 堆叠起来，用很宽的接口与处理器相连，因此能在不大的面积里提供远高于普通内存的带宽。

峰值吞吐标称为每秒 123 万亿次运算，第二代则是 45 万亿次^[1]。这类峰值数字描述的是理想条件下硬件的能力上限；真实模型运行时要等待数据搬运和芯片之间的通信，实际达到的性能通常低于峰值。这也是内存容量和带宽与运算能力同样重要的原因。

工艺上，v3 仍采用 16 纳米制程^[1]。它的热设计功耗（thermal design power，TDP）为 220 W，低于第二代的 280 W^[1]。功耗决定了单个机架乃至整个机房能容纳多少芯片：单颗芯片的功耗更低，同样的供电和散热条件下就能放进更多芯片。

为什么用液冷

v3 采用液冷散热，Google 这样做是为了应对 TPU v3 集群（pod）更高的部署密度^[1]。风冷依靠风扇把芯片散热器上的热量吹到机房里，芯片排布越密，风冷就越吃力。液冷则让冷却液流过贴在芯片上的冷板，把热量直接带走；冷却回路可以封闭，热量在别处交换，因此机器能比风冷条件下排得更密，这正是高密度集群所需要的。

数值格式与获取方式

与第二代相同，v3 支持 bfloat16^[1]。bfloat16 是一种 16 位浮点格式，保留了标准 32 位浮点数的 8 位指数，只缩短尾数部分，因此可表示的数值范围依然很宽，而每个数值占用的空间减半。模型因此可以用更少的内存搬运来传输激活值和参数，代价是精度有所降低。Google 通过 Google Cloud 提供 v3^[1]。

在 TPU 系列中的位置

v3 是 Google 为自身机器学习负载设计的芯片系列的第三代，同时也通过云服务对外提供^[1]。与第二代相比，它的提升集中在内存容量与带宽、峰值吞吐以及单芯片功耗上，制程没有变化^[1]。它也是液冷进入 Google TPU 部署的一个节点，而这一变化由集群密度推动^[1]。