Tensor Core（张量核心）

是什么

张量核心（Tensor Core）是 NVIDIA GPU 内部的专用单元，能在一步之内完成一个小矩阵的乘法与累加。这件事之所以重要，是因为矩阵乘法（通常写作 GEMM）是神经网络训练与推理的核心算术：网络从数据中学习、或者回答一次查询时，绝大部分计算都可以归结为把矩阵相乘再把结果加起来 ^[4]。把这一步做得更快、用的电路更少，整个任务就更快。

怎么工作

第一代张量核心在 4×4 的矩阵上计算 D = A×B + C，输入用 FP16，累加可以用 FP16 或 FP32，每个时钟完成 64 次融合乘加 ^[1]。所谓融合乘加，就是一条指令里同时完成一次乘法和一次加法，把乘积直接加进累加值——这正是矩阵乘法最内层的循环。

分块的大小是关键。一个 4×4 矩阵乘一个 4×4 矩阵，得到 16 个输出元素，每个元素是 4 个乘积之和，合计 64 次乘加。一个张量核心一个时钟就把这一整块算完，因为它被设计成每时钟做 64 次融合乘加 ^[1]。普通的通用核心则是一个通道一次乘加地慢慢推进。

它的算术是刻意「混合」的：乘法在较低精度（FP16）下完成，但累加值保存在较高精度（FP16 或 FP32）里，这样把大量小项加总时精度不会一路下滑 ^[1]。这种「便宜地乘、小心地加」的混合精度（mixed precision）思路，是之后每一代都沿用的基础。

从哪来

张量核心首次出现在基于 Volta 架构的 Tesla V100 上，该芯片于 2017 年 5 月发布，内部有 640 个张量核心，每个流式多处理器（streaming multiprocessor）配 8 个 ^[1]。效果是拿上一代做对照量出来的：V100 提供 125 Tensor TFLOPS，是以往 P100 上用标准 FP32 数学做训练的峰值吞吐的至多 12 倍 ^[1]。

后续几代

2020 年的 A100 带来第三代张量核心，新增了 TF32——一种不需要改动代码就能加速 FP32 工作负载的格式，还支持 BF16 与 FP64，并支持细粒度结构化稀疏（fine-grained structured sparsity），通过跳过零权重把吞吐翻倍 ^[2]。

第四代出现在 2022 年的 H100 上，新增 FP8，并与「Transformer Engine」配合；NVIDIA 称其在 GPT-3（175B）训练上比上一代快至 4 倍 ^[1]。

第五代位于 2024 年的 Blackwell 平台，新增面向推理的 4 位浮点，NVIDIA 表示这使算力和可支持的模型规模都翻倍 ^[3]。

别家也有

这个思路并非一家独有。Google 的 TPU 就是围绕矩阵乘单元构建的，AMD 的 MI300X 则带有 1,216 个「matrix core」 ^[5]。

局限

精度降低是有代价的。DeepSeek-V3 的报告发现，H800 上 FP8 矩阵乘的累加只保留了大约 14 位精度，因此它会周期性地把部分结果搬到普通 CUDA 核心上用 FP32 计算，才能以 FP8 训练出准确的结果 ^[1]。稀疏相关的能力同样只在权重确实是零时才起作用，而混合精度带来的加速，也取决于工作负载是否真的以这些单元所加速的矩阵运算为主。