NVIDIA Tesla P40

这块卡是什么

Tesla P40 是用于服务器的图形处理器（GPU）加速卡。NVIDIA 为它发布的数据表标注日期为 2016 年 9 月，其中说明 P40 基于 Pascal 架构，定位专门用于深度学习推理^[1]。推理是使用已经训练好的神经网络：模型参数已经学好，加速卡要做的是把参数应用到新的输入上并给出输出。这与训练不同，训练会更新模型参数。在数据中心里，推理可能面对大量用户和大量请求，因此单位功耗和单位服务器能完成多少工作很重要。

P40 采用 PCI Express 3.0 x16 系统接口，板卡最大功耗为 250 W^[1]。它是安装在服务器中的部件，不是完整计算机。PCIe 接口负责与主机系统连接，功耗上限则决定服务器需要提供的供电和散热条件。NVIDIA 把这款产品围绕推理来定位，因此公布性能数字时，重点放在处理神经网络工作的速度，而不只是图形绘制速度。

规格与含义

NVIDIA 的产品简介列出 3840 个 CUDA 核心、1303 MHz 基础频率和 1531 MHz 加速频率^[2]。CUDA 核心是 NVIDIA GPU 中并行执行算术运算的单元，数量多意味着可以同时处理许多计算。基础频率和加速频率给出 NVIDIA 规定的工作频率范围。这些是硬件规格，不是某个具体神经网络的实测成绩。

P40 有 24 GB GPU 显存和 346 GB/s 显存带宽^[1]。显存容量决定模型数据和中间数据能同时放在卡上的规模，带宽描述数据进出显存的快慢。推理时，硬件既要保存模型，也要足够快地给计算单元送入数据。

NVIDIA 标称 P40 的 INT8 推理性能为 47 TOPS，单精度性能为 12 TFLOPS^[1]。TOPS 表示每秒万亿次运算，INT8 指 8 位整数运算。神经网络推理通常可以使用比训练更低的精度，用更小的数表示数据，从而在相同硬件上获得更高吞吐。12 TFLOPS 的单精度数值则描述 FP32 吞吐。两组数字放在一起，说明 NVIDIA 同时用低精度推理吞吐和常规浮点能力来介绍这块卡。

服务器整合

NVIDIA 对 P40 给出了一个部署层面的说法：一台装 8 块 P40 的服务器，在深度学习推理上最多可以替代 140 台只有 CPU 的服务器^[1]。这是 NVIDIA 关于服务器整合的说法，不是对所有工作负载都成立的独立基准测试。它说明了专用推理加速卡的经济逻辑：如果一台服务器能承担许多 CPU 服务器的推理工作，运营方就可能减少机器数量、机架空间和相关配套。

在 AI 硬件中的位置

P40 的设计把服务器形态、固定功耗上限和适合把模型数据留在卡上的显存配置放在一起。它基于 Pascal 架构，并明确以深度学习推理为定位^[1]。这些规格属于数据中心部件：PCIe 接口、250 W 板卡功耗、24 GB 显存，以及面向推理公布的吞吐数字^[1]。在 AI 硬件的发展中，P40 是一个例子：GPU 厂商把推理作为单独的目标写进产品定位，并用 INT8 TOPS 这类推理买家关心的单位来描述性能。