基础模型 算力芯片

NVIDIA 首款基于 Volta 架构的数据中心 GPU，2017 年 5 月发布。它引入张量核心专门加速矩阵乘法；OpenAI 后来的 GPT-3 系列模型即在 V100 上训练。

NVIDIA A100 是首款基于 Ampere 架构的数据中心 GPU，2020 年 5 月 14 日发布。它引入第三代 Tensor Core、TF32 格式和多实例 GPU，后来成为训练大语言模型的常用硬件。

NVIDIA H100 是首款基于 Hopper 架构的数据中心 GPU，2022 年 3 月发布，为训练和运行大模型设计，使用 HBM3 显存与 FP8 精度。

谷歌 TPU v4 是从 2020 年起投入使用的机器学习芯片与超级计算机，单个 pod 达 4,096 颗芯片，靠光路交换重构互连，PaLM 与 Gemini 都在其上训练。

NVIDIA 于 2024 年 3 月发布的 Blackwell 架构数据中心 GPU，接替 Hopper，由两颗拼接的芯片构成，配合新一代 NVLink 与 FP4 支持大规模 AI 训练和推理。