Transformer 与注意力 算力芯片

NVIDIA H100 是首款基于 Hopper 架构的数据中心 GPU，2022 年 3 月发布，为训练和运行大模型设计，使用 HBM3 显存与 FP8 精度。

NVIDIA 于 2016 年 4 月发布的 Tesla P100 是首款基于 Pascal 架构的数据中心 GPU，也是第一个同时用上 HBM2 堆叠显存、面向深度学习的半精度指令和 NVLink 互联的加速卡。