NVIDIA Tesla T4

是什么

NVIDIA Tesla T4 是一块主要面向推理（inference）的图形处理器。所谓推理，就是模型训练完成之后被用来回答问题、识别图像或生成文字的那个阶段。NVIDIA 用自家的 Turing 架构做这颗芯片，把它做成 70 瓦、单槽、半高的 PCIe 板卡^[1]。这几个封装参数说明了它是给谁用的：70 瓦是普通机架服务器不需要专门供电和散热改造就能承受的功耗；单槽意味着同一台机器里可以并排插好几张；半高的外形能塞进更矮的机箱。也就是说，T4 是一张往已有的服务器里加的卡，而不是要求整台机器围着它重新设计。

芯片上有什么

NVIDIA 的规格表给 T4 标的是 320 个 Turing 张量核心（Tensor Core）和 2,560 个 CUDA 核心^[1]。这两类核心干的活不一样。CUDA 核心是通用运算单元，图形渲染和普通的向量计算靠它；张量核心则是专用单元，一次就能算完一个小规模的矩阵乘法，而矩阵乘法正是神经网络一层里最主要的运算。没有矩阵单元的显卡，只能把一次矩阵乘法拆成很多小步骤来凑；张量核心把它合并成一步。T4 上 CUDA 核心的数量远多于张量核心，这说明芯片的大部分面积仍然是常规电路，矩阵算力由一个相对小的专用模块提供。

算力数字

NVIDIA 给 T4 列出的数字是：FP32 8.1 TFLOPS、FP16 65 TFLOPS、INT8 130 TOPS、INT4 260 TOPS^[1]。把这几个数放在一起看，能看出这张卡的设计思路是用精度换速度。FP32 是图形和科学计算里常用的 32 位浮点格式；FP16 把每个数的位数减半；INT8 和 INT4 更进一步，把数值存成 8 位和 4 位整数。在 T4 上，精度每降一档，标称吞吐就抬高一截，FP16 到 INT8、INT8 到 INT4 大致都是翻倍。这在推理里行得通，是因为推理对精度的宽容度通常比训练高：网络的权重一旦定下来，把它们舍入成更短的表示，输出往往仍然足够接近正确答案。需要说明的是，最高的 260 INT4 TOPS 只有在模型按这种格式准备好之后才拿得到。

显存

NVIDIA 给 T4 标的是 16 GB GDDR6 显存和超过 320 GB/s 的显存带宽^[1]。容量决定多大的模型、或者多大的一批请求能一起放在卡上，而不必通过 PCIe 反复搬回主机内存；带宽决定权重和中间结果能多快地被送进核心。推理常常卡在访存上而不是算力上，因为生成一个答案可能要把整套权重读一遍。16 GB 对那个时期很多生产模型够用，但对最大的那些模型不够，而带宽这个数字比容量更能说明这张卡实际能跑多快。

视频处理

NVIDIA 说 T4 的专用转码引擎最多可以解码 38 路全高清视频流^[1]。转码（transcoding）是几乎所有视频分发背后都要做的一步：把压缩过的码流解出来，再按特定观众或网络需要的分辨率、码率或格式重新编码。用通用核心做这件事很贵，所以交给专用视频引擎，而 T4 上这套引擎与 CUDA 核心、张量核心是分开的。于是一张卡可以一边解码视频，一边对解出来的画面跑推理，比如在推流的同时分析画面内容做审核或检索。

处在什么位置

NVIDIA 表示，在推理负载上 T4 的性能最高可达 CPU 的 40 倍^[1]。这个对比就是这张卡的核心卖点。规模化推理意味着大量小任务源源不断地到来，数据中心真正在意的是每瓦、每机架单位的吞吐，而不是某一次大计算的峰值速度。一张功耗低、一台服务器里能插好几张、支持低精度运算、还能顺带处理视频的卡，正是照着这个形态设计的。厂商给出的加速倍数是在选定模型、精度和批大小下测出的最好情况，应该当作差距的量级来看，而不是对某个具体负载的承诺。但方向是清楚的：T4 代表了 GPU 从专用设备变成普通服务器里通用的推理与媒体加速卡的那一步。