NVIDIA GeForce GTX 580

是什么

GeForce GTX 580 是英伟达（NVIDIA）在 2010 年 11 月 9 日发布的一款消费级显卡，基于 Fermi 架构。英伟达称它从晶体管一级重新设计，目的是提高能效^[1]。显卡的工作方式是同时执行大量简单的算术运算：游戏里的着色和几何处理靠它，而神经网络训练中大量的乘加运算，恰好也是同一类适合并行的活。

发布与规格

英伟达在发布稿中给出的规格是 512 个核心和 16 个 PolyMorph 引擎，并称其每瓦性能比 GeForce GTX 480 最多提升 35%，速度最多快 30%^[1]。核心是负责并行算术的单元，PolyMorph 引擎负责 DirectX 11 中的几何处理。显卡发布即开卖，估计售价 499 美元，合作厂商包括 ASUS、EVGA、Gigabyte、MSI 和 Zotac^[1]。它的市场定位是 DirectX 11 游戏，发布稿同时列出了对 CUDA 的支持，CUDA 是英伟达让 GPU 承担通用计算任务的平台^[1]。这一点把游戏产品和后来的研究连了起来：有了这层平台，研究者可以按通用计算的思路写数值程序，再交给显卡执行，而不必把问题硬塞进图形渲染的框架里。

训练 AlexNet 的两张卡

2012 年，由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 提出、在 ILSVRC-2012 中夺冠的卷积网络（convolutional network）AlexNet，是在两张各有 3 GB 显存的 GTX 580 上训练出来的^[2]。论文给出的训练耗时是五六天，大约相当于把 120 万张训练图片过 90 遍^[2]。训练时，网络的参数和中间计算结果都要放进显存，用完了就得反复倒进倒出，速度会明显变慢，所以单卡 3 GB 就成了一道硬上限，模型的层数和每层的宽度都被它卡住。作者的办法是把网络拆到两张卡上：一半的卷积核放在一张卡上，两张卡只在部分层之间通信^[2]。论文特别提到，这两张 GPU 可以直接读写对方的内存，不必经过主机内存，这让跨 GPU 的并行变得可行^[2]。

在发展中的位置

AlexNet 的作者在论文中写道，网络的规模主要受当时 GPU 显存的限制，只要等到更快的 GPU 和更大的数据集，结果就能进一步提升^[2]。这既是对当时硬件条件的说明，也预告了后来深度学习的规模竞赛：模型能有多大，很大程度上取决于一块芯片能装下多少计算和多少内存。英伟达自己的公司大事记把 2012 年记为它支持 AlexNet 神经网络、开启现代 AI 时代的一年^[3]。对一块消费级显卡来说，这只是产品史上的一个小注脚；换个角度看，它也记录了一件事：一块以 499 美元估计售价上市的游戏硬件，在发布两年之后成了标志性成果跑出来的机器^[1][2]。