xAI 在孟菲斯启用 Colossus 超级计算机

背景

xAI 是人工智能公司，训练 Grok 模型需要大量算力，Colossus 就是 xAI 为此与 NVIDIA 合作建设的计算集群。

发生了什么

xAI 的 Colossus 集群约有 10 万块 NVIDIA H100 图形处理器（GPU），于 2024年7月至9月间投入运行。它位于田纳西州孟菲斯市南部，原为一家 Electrolux 工厂^[2][1]。

xAI 与 NVIDIA 共用 122 天建成了这套设施和系统。第一批机架到达约 19 天后，训练就开始了^[1]。

关键细节

Colossus 采用 NVIDIA 的 Spectrum-X 以太网网络，配备 Spectrum SN5600 800Gb/s 交换机和 BlueField-3 SuperNIC。NVIDIA 称该系统的数据吞吐率达到 95%^[1]。

马斯克称它是「世界上最强大的训练系统」。2024年10月，NVIDIA 表示 xAI 正将其规模扩大一倍，达到 20 万块 Hopper GPU^[1]。

Colossus 主要用于训练 Grok。Grok 3 是在 Colossus 超级集群上训练的，Grok 4 的强化学习（reinforcement learning）则运行在这套 20 万块 GPU 的系统上^[2][3][4]。

供电最初来自约 8 MW 的电网接入，并辅以临时的天然气涡轮机和 Tesla Megapack 电池。2026年4月，美国有色人种协进会（NAACP）由南方环境法律中心（Southern Environmental Law Center）和 Earthjustice 代理，就《清洁空气法》合规问题提起诉讼^[2]。

第二个站点 Colossus 2 位于孟菲斯的 Whitehaven 地区。其第一套大型集群约于 2026年1月上线，包含约 11 万块 GB200 级处理器，功率约 210 MW。到 2026年9月下旬，该地已在使用 44 万块 GB300 GPU^[2]。

2025年12月30日，xAI 购入了孟菲斯的第三座建筑，目标是接近 2 GW 的算力和至少 100 万块 GPU^[5]。

影响

Colossus 是 Grok 3 和 Grok 4 训练所依托的系统^[2][3][4]。孟菲斯的运营之后扩展到了第二个站点和第三座建筑^[2][5]。

对读者来说，图形处理器（GPU）原本为图形计算设计，后来成为训练大型 AI 模型的主要硬件。集群（cluster）是由多台相互连接的计算机共同完成一项任务的系统。训练（training run）是利用大量数据不断调整模型参数的过程，这类集群可以在一个模型的研发过程中承担多次这样的训练^[1][2]。