Google TPU v2

是什么

Google TPU v2 是第二代张量处理单元（Tensor Processing Unit，TPU），用于机器学习计算。Google 在 2017 年 5 月发布它，并表示会在 Google Compute Engine 上为 TensorFlow 应用提供这款芯片。这使硬件、云服务和 TensorFlow 软件栈联系在一起。^[1]

为什么有第二代

Google 说第一代设计受内存带宽限制。内存带宽是数据在内存和计算单元之间移动的速率；带宽不足时，计算单元会等待数据。第二代改用 16 GB 的 HBM，把带宽提高到 600 GB/s，性能达到 45 teraFLOPS。HBM 是一种高带宽内存技术，目的是在较小封装内提供更高数据吞吐。这里的变化说明，Google 把内存系统而不是只把计算单元当作升级重点。^[1]

芯片、模块和 pod

v2 芯片采用 16 nm 制程，热设计功耗（thermal design power，TDP）为 280 W。TDP 表示芯片在持续负载下预计需要散发的热量，是散热和系统设计的参考。Google 没有停留在单芯片：4 颗 v2 芯片组成一个模块，模块额定 180 teraFLOPS；64 个这样的模块组成一个 256 颗芯片的 pod，额定 11.5 petaFLOPS。teraFLOPS 是每秒一万亿次浮点运算，petaFLOPS 是每秒一千万亿次，因此 pod 的数字比单芯片大得多。芯片、模块、pod 三级结构展示了从单个处理器扩展到更大系统的方式：先做单芯片，再通过封装和互连组成模块，最后把多个模块组织成 pod。^[1]

浮点与 bfloat16

第一代 TPU 只能做整数计算，第二代加入浮点支持，并引入由 Google Brain 开发的 bfloat16 格式。整数运算适合表示没有小数部分的数；浮点运算可以表示带小数部分和一定范围的数，这对许多机器学习计算很重要。bfloat16 是一种浮点格式，用于这类计算。浮点支持让第二代 TPU 既能用于训练，也能用于推理。训练是根据数据调整模型参数的过程；推理是运行已经训练好的模型并产生输出。^[1]

在发展中的位置

把上述变化放在一起看，v2 是 Google TPU 路线从整数计算走向浮点计算、从单芯片走向 pod 规模系统的一个节点。45 teraFLOPS 的单芯片数字、180 teraFLOPS 的模块数字和 11.5 petaFLOPS 的 pod 数字，描述的是同一条扩展路径上的三个层级。Google 表示第二代 TPU 会在 Google Compute Engine 上为 TensorFlow 应用提供，这把它放进了云端运行 TensorFlow 工作的场景中。浮点支持和 pod 规模封装结合在一起，构成了 v2 在这条路线中的主要位置。^[1]