硬件与算力
| ENIAC 电子数值积分计算机 ENIAC 于 1946 年 2 月 14 日公布,宾夕法尼亚大学称其为第一台通用电子计算机;这台重 30 吨、装有 18000 只电子管的机器用来生产军用射击表。 | |
| 《神经网络与具有涌现集体计算能力的物理系统》 John J. Hopfield 于 1982 年发表的论文,主张有用的计算能力可以作为大量简单等价单元的集体性质涌现出来,并给出一个模型:其集体行为带来内容寻址记忆、泛化与纠错等能力。 | |
| 王兴兴 王兴兴(1990 年生)是机器人公司 Unitree 的创始人兼首席执行官,主导推出了 AlienGo、Go1 四足机器人与 H1 人形机器人。 | |
| 波士顿动力 1992 年从 MIT 分拆出来的机器人公司,以 BigDog、Atlas、Spot、Handle 等足式与仿人机器闻名,现由现代汽车集团控股。 | |
| 英伟达(NVIDIA) 英伟达是图形处理器(GPU)的发明者,凭借 CUDA 架构和支撑 AlexNet 的芯片,成为现代人工智能算力的主要提供者之一。 | |
| 亚马逊(Amazon) 亚马逊(Amazon)是贝索斯于1994年创立的美国科技公司。其云业务 AWS 是主要云服务商,公司也自研了 Nova 模型与 Trainium 芯片。 | |
| 深蓝 IBM 研制的国际象棋计算机,1997 年 5 月在标准比赛时限下击败在位世界冠军,成为第一台做到这一点的计算机系统。 | |
| 索杰纳号火星车 美国宇航局的小型火星车,1997年7月4日随火星探路者号着陆火星,是太阳系中第一辆在另一颗行星上行驶的轮式车辆。 | |
| Mobileye Mobileye 做车载摄像头视觉芯片与软件,产品从基础驾驶辅助一路延伸到面向无人驾驶车辆的系统,其 EyeQ 芯片已装进数以亿计的汽车。 | |
| 用图形处理器进行大规模深度无监督学习 2009 年 ICML 论文,作者为 Rajat Raina、Anand Madhavan 与 Andrew Y. Ng,用图形处理器训练深度信念网络与稀疏编码模型,速度比多核 CPU 快数十倍。 | |
| ImageNet Classification with Deep Convolutional Neural Networks(用深度卷积神经网络做 ImageNet 分类) 2012年的NeurIPS论文提出了AlexNet,这是一个在GPU上训练的大型卷积神经网络,并在ILSVRC-2012竞赛中夺冠。 | |
| Atlas(DARPA 机器人挑战赛版) Atlas 是波士顿动力为 DARPA 研制的类人救灾机器人,2013 年 7 月 11 日首次公开,曾交付给参加 DARPA 机器人挑战赛的队伍,其液压版本于 2024 年 4 月宣布退役。 | |
| 地平线 中国的高级驾驶辅助与自动驾驶方案供应商,2015 年成立,按装机量计为国内最大供应商,2024 年在香港交易所主板上市。 | |
| 谷歌第一代 TPU 谷歌第一代张量处理单元是为加速数据中心内神经网络推理而自研的专用芯片。它 2015 年上线、2016 年公开,证明专用加速器在性价比上可以胜过 CPU 和 GPU。 | |
| 宇树科技 2016年成立于杭州的机器人公司,产品包括四足机器人和人形机器人,既做低价位整机,也承接工业与运营商的大额采购订单。 | |
| Aurora Innovation Aurora Innovation 是一家开发自动驾驶技术的公司,2017 年由自动驾驶行业人士创立,2021 年上市,2025 年 4 月开始在达拉斯与休斯敦之间开展常规无人驾驶商业货运。 | |
| Google TPU v2 Google TPU v2 是 Google 于 2017 年 5 月发布的第二代张量处理单元。它加入浮点支持和 bfloat16,并可组成 256 颗芯片、11.5 petaFLOPS 的 pod。 | |
| NVIDIA Tesla V100 NVIDIA 首款基于 Volta 架构的数据中心 GPU,2017 年 5 月发布。它引入张量核心专门加速矩阵乘法;OpenAI 后来的 GPT-3 系列模型即在 V100 上训练。 | |
| 波士顿动力 Spot Spot 是波士顿动力研制的四足机器人,2019 年 9 月起商业销售,面向商业与工业用途。它采用模块化载荷设计,可搭载相机与激光雷达,能上下台阶和爬坡,目前已有超过 1500 台在客户手中。 | |
| 《Megatron-LM:用模型并行训练数十亿参数的语言模型》 NVIDIA 团队 2019 年的论文,提出一种层内模型并行方法,只需在原生 PyTorch 中插入少量通信操作,就训练出 83 亿参数的 Transformer 模型,并在多个基准上超过此前最好成绩。 | |
| 缩放定律 缩放定律是一种经验规律:语言模型的测试损失会随参数量、数据量和训练算力增加而按幂律平稳下降。它帮助实验室规划大规模训练,也解释了行业对数据中心和 GPU 的竞相投入。 | |
| 神经语言模型的缩放定律 OpenAI 研究者在 2020 年发表的论文发现,语言模型的损失会随模型规模、数据量和训练算力增加而按幂律平稳下降,为各实验室建造更大的模型提供了定量依据。 | |
| NVIDIA A100 NVIDIA A100 是首款基于 Ampere 架构的数据中心 GPU,2020 年 5 月 14 日发布。它引入第三代 Tensor Core、TF32 格式和多实例 GPU,后来成为训练大语言模型的常用硬件。 | |
| NVIDIA H100 NVIDIA H100 是首款基于 Hopper 架构的数据中心 GPU,2022 年 3 月发布,为训练和运行大模型设计,使用 HBM3 显存与 FP8 精度。 | |
| Gemini 1.0(Ultra、Pro、Nano) Gemini 1.0 是 Google DeepMind 多模态模型家族的第一代,2023 年 12 月 6 日发布,分 Ultra、Pro、Nano 三档;Google 称 Ultra 是首个在 MMLU 上超过人类专家的模型。 | |
| Cerebras 晶圆级引擎 WSE-3 Cerebras 于 2024 年 3 月发布的第三代晶圆级 AI 芯片,在 46,225 平方毫米的一整块硅片上集成 4 万亿个晶体管,目标是让超大模型在单一内存空间中训练。 | |
| NVIDIA GB200 NVL72 面向万亿参数模型的液冷机架,NVIDIA 把 72 颗 Blackwell GPU 与 36 颗 Grace CPU 连成单一 NVLink 域。 | |
| 全电动 Atlas(2024) 2024 年 4 月,波士顿动力发布全电动 Atlas,称它比此前各代更强壮、更灵巧、运行更安静,并把这次发布视为 Atlas 走向商用的起点,首家合作方是现代汽车。 | |
| Figure 02 Figure 02 是 Figure 公司 2024 年 8 月发布的人形机器人,硬件与软件重新设计,机载算力为上一代的三倍。它曾在宝马工厂承担钣金件上料,Figure 03 发布后整批退役。 | |
| SK 海力士 12 层 HBM3E SK 海力士于 2024 年 9 月 26 日宣布量产 12 层 HBM3E,是首个做出 12 层堆叠高带宽内存的公司:封装容量 36 GB,厚度与 8 层版本相同,工作速度 9.6 Gbps。 | |
| DeepSeek-V3 DeepSeek-V3 是深度求索(DeepSeek)于 2024 年 12 月发布的开放权重模型,采用混合专家(mixture-of-experts)架构,总参数 6710 亿,每个词元激活 370 亿。 | |
| 华为 CloudMatrix 384 超节点 华为云基于 Atlas 900 A3 超节点构建的云服务实例,把最多 384 颗昇腾 910C 芯片连成一台计算机对外提供算力。 | |
| Google TPU7x(Ironwood) TPU7x(Ironwood)是 Google 第七代张量处理器:单芯片 192 GB 高带宽内存,支持 FP8,一个 Pod 可装 9,216 颗芯片,编程模型为每颗芯片暴露两个设备。 | |
| 华为昇腾 910C 昇腾 910C 是华为昇腾 910 系列的数据中心 AI 芯片,基于达芬奇架构,2025 年第一季度上市,FP16 算力 800 TFLOPS,配备 128 GB 高带宽内存。 | |
| NVIDIA GB300 NVL72 NVIDIA 于 2025 年 3 月发布的机架级系统,把 72 颗 Blackwell Ultra GPU 和 36 颗 Grace CPU 连成一台机器,官方称其 AI 性能是 GB200 NVL72 的 1.5 倍。 | |
| SK 海力士 12 层 HBM4 2025 年 3 月 19 日,SK 海力士宣布全球首家向主要客户提供 12 层 HBM4 样品:带宽超过 2 TB/s、容量 36 GB,比 HBM3E 快 60% 以上。 | |
| 华为乾崑智驾 ADS 4 华为于2025年4月22日在上海发布的智能驾驶系统,采用云端世界引擎加车端世界行动模型的 WEWA 架构,分为4个版本,旗舰 ADS Ultra 带专用于高速公路的 L3 套件。 | |
| AMD Instinct MI355X AMD 于 2025 年 6 月推出的数据中心 GPU,采用 CDNA 4 架构,配备 288 GB HBM3E 显存,主打生成式 AI 推理,与英伟达 Blackwell 一代正面竞争。 | |
| 华为昇腾 950 华为昇腾 950 是 2025 年 9 月公布的两款 AI 芯片系列,昇腾 950PR 与 950DT 共用一颗芯片,并首次采用华为自研高带宽内存,低精度算力最高 2 PFLOPS。 | |
| Figure 03 Figure 03 是 Figure 于 2025 年 10 月发布的第三代人形机器人,围绕 Helix 视觉-语言-动作人工智能设计,面向家庭与大规模制造,配备新相机架构、手掌相机与脚部无线充电。 | |
| 1X NEO 家用人形机器人 NEO 是 1X 于 2025 年 10 月 28 日发布的人形机器人,主打家庭使用:机身柔软,单手 22 个自由度,Early Access 售价 2 万美元,另有每月 499 美元的订阅方案。 | |
| AWS Trainium3 AWS Trainium3 是首款 3 纳米 AI 芯片,单芯片 FP8 算力 2.52 petaflops,2025 年 12 月起通过 Amazon EC2 提供。[^1] | |
| NVIDIA Rubin NVIDIA Rubin 是 NVIDIA 在 CES 2026 发布的六芯片 AI 平台,Blackwell 的继任者,重点降低大模型推理成本,相关产品和云实例将在 2026 年推出。 | |
| 量化(Quantization) 量化把语言模型的权重和激活值用更低的数值精度存储,从而降低推理所需的内存和带宽。LLM.int8() 与 GPTQ 等方法让超大规模模型能够跑在远小的硬件上。 | |
| 国际商业机器公司(IBM) IBM 是美国的科技公司,1911 年以计算-制表-记录公司(CTR)的名称成立,1924 年改名为国际商业机器公司。它的研究人员造出了 1997 年击败卡斯帕罗夫的深蓝,以及沃森问答系统。 | |
| 贝尔实验室 贝尔实验室是贝尔系统的研究机构,晶体管、Unix 和 C 语言都诞生于此。杨立昆(Yann LeCun)用于手写数字识别的卷积网络也在这里完成,使其成为神经网络研究的重要早期阵地。 | |
| 弗兰克·罗森布拉特 弗兰克·罗森布拉特(Frank Rosenblatt,1928–1971)是美国心理学家,发明了感知机,这是一种能从样例中调整权重的早期学习机器。Mark I感知机现存于史密森学会。 | |
| IBM 研究院 IBM 研究院研发了 1997 年击败国际象棋冠军卡斯帕罗夫的「深蓝」,以及 2011 年赢得《危险边缘》的 Watson。 | |
| 杰夫·迪恩(Jeff Dean) 美国计算机科学家,以 Google 的 MapReduce、Bigtable、Spanner 等基础系统,以及 TensorFlow 和 Google 首席科学家身份为人所知。 | |
| 施乐帕洛阿尔托研究中心 施乐帕洛阿尔托研究中心(PARC)1970 年由施乐创办,以以太网、激光打印和 Alto 个人计算机闻名,2002 年成为独立公司,2023 年加入 SRI International。 | |
| 埃隆·马斯克(Elon Musk) 埃隆·马斯克是企业家,创办 SpaceX,领导 Tesla,参与创办 OpenAI,并于 2023 年宣布成立 xAI,即 Grok 模型的开发公司。 | |
| 苹果公司(Apple) 苹果公司于 1976 年创立,以 iPhone、iPad 和 Mac 闻名。它于 2024 年推出 Apple Intelligence,自研 Apple 基础模型(AFM),并在 2026 年与谷歌合作。 | |
| 华为 华为是一家1987年创办于深圳的中国信息与通信技术公司,自研昇腾(Ascend)AI芯片,以及围绕这些芯片的软件和大型计算系统。 | |
| Newton MessagePad 掌上助理 Newton MessagePad 是苹果第一款基于 Newton 技术的掌上电脑,1993 年 8 月 2 日上市,采用笔输入、手写识别和模块化通信设计。 | |
| 火星探路者号着陆器 美国宇航局(NASA)的火星探路者号着陆器于 1997 年 7 月 4 日着陆,放出小车「索杰纳」,首次使用气囊着陆技术,并传回数千张火星表面图像。 | |
| 波士顿动力 BigDog BigDog 是波士顿动力公司研制的四足机器人,由 DARPA 资助,目标是做成能跟随士兵、在车辆难以通行的地形上驮运物资的「机械骡」。 | |
| NVIDIA 研究院(NVIDIA Research) NVIDIA 研究院是 NVIDIA 的研究机构,2006 年成立,拥有 200 多名科学家,研究 AI、自动驾驶、高性能计算和图形,并开发开放的 Nemotron 模型系列。 | |
| 用 GPU 训练深度学习 图形处理器(GPU)能同时执行大量算术运算,很适合神经网络训练。2010年前后起,GPU被用于深度学习,使其能够在更大规模上实际运行。 | |
| NVIDIA GeForce GTX 580 NVIDIA 于 2010 年 11 月发布的消费级显卡。两张各带 3 GB 显存的 GTX 580 后来训练出了在 ILSVRC-2012 夺冠的 AlexNet。 | |
| 谷歌大脑(Google Brain) 谷歌大脑是谷歌 2011 年启动的深度学习团队,以神经网络识别猫闻名,贡献了 TensorFlow 与 Transformer,2023 年并入 Google DeepMind。 | |
| 好奇号火星车 好奇号(Curiosity)是美国宇航局的火星车,2012年8月在盖尔撞击坑着陆,携带的科学载荷远大于此前的火星车,着陆时用空中吊车把自己放到轮子上。 | |
| 大规模分布式深度网络 2012 年 NIPS 论文,提出可在数千台机器集群上训练深度网络的 DistBelief 框架,以及 Downpour SGD 和 Sandblaster 两种优化过程。 | |
| Preferred Networks Preferred Networks 是一家位于东京的技术公司,2014 年设立,自行研发 AI 处理器、自建超级计算机并开发日文大语言模型,股东中包含多家日本大型制造企业。 | |
| 海光信息技术股份有限公司 中国芯片设计企业,2014年成立,开发兼容 x86 的处理器与加速器,2022年在科创板上市,主打自研的 C86 与 GPGPU 双线产品。 | |
| Atlas 液压版(HD Atlas) Boston Dynamics 在 2016 年推出的新一代 Atlas 人形机器人,电力驱动、液压执行,比前代更小更轻更灵活,2024 年退役。 | |
| 中科寒武纪科技股份有限公司 寒武纪是一家 2016 年成立的 AI 芯片公司,2020 年登陆科创板,产品覆盖云端、边缘和终端,2025 年实现扭亏为盈。 | |
| NVIDIA Tesla P100 NVIDIA 于 2016 年 4 月发布的 Tesla P100 是首款基于 Pascal 架构的数据中心 GPU,也是第一个同时用上 HBM2 堆叠显存、面向深度学习的半精度指令和 NVLink 互联的加速卡。 | |
| NVIDIA DGX-1 NVIDIA 于 2016 年 4 月发布的 DGX-1 在单个机箱里装了 8 块 Tesla P100 GPU,被称为世界上第一台深度学习超级计算机,把加速卡的数量变成一个可直接采购的整机型号。 | |
| 小马智行 小马智行是一家2016年底成立于加州弗里蒙特的自动驾驶公司,以「虚拟司机」为核心系统,运营自动驾驶出租车、自动驾驶卡车和量产乘用车三条业务线。 | |
| CoreWeave 一家总部位于新泽西州的云计算公司,从以太坊挖矿起步,转型为面向 AI 的 GPU 算力供应商,2025 年在纳斯达克上市。 | |
| 文远知行 文远知行是一家自动驾驶公司,2017 年由前百度自动驾驶首席科学家 Tony Han 在硅谷创立。其核心平台 WeRide One 覆盖 L2 到 L4,车辆已在 60 多座城市部署。 | |
| 混合专家(MoE) 混合专家(MoE)模型包含许多子网络,却只把每个词元交给其中少数几个处理。这样总参数量可以很大,而每个词元的计算量仍远小于总量。 | |
| Tensor Core(张量核心) 张量核心(Tensor Core)是 NVIDIA GPU 内部的专用单元,一步完成小矩阵的乘加运算,让神经网络训练与推理背后的矩阵算术大幅加速。 | |
| 苹果 A11 仿生芯片 苹果于 2017 年随 iPhone X 发布的手机芯片,集成六核 CPU、苹果自研三核 GPU 与双核神经引擎,为 Face ID 等端侧机器学习功能提供算力。 | |
| Google TPU v3 Google 自研的第三代张量处理单元,2018 年推出,内存容量与带宽翻倍、峰值吞吐提升、单芯片功耗下降,并采用液冷以支持更高密度的集群。 | |
| 华为昇腾 910 昇腾 910 是华为 2019 年发布的 AI 训练处理器,与 MindSpore 框架一同推出,FP16 算力 256 teraflops,曾用于在数千块芯片组成的集群上训练 PanGu-α 语言模型。 | |
| 模型并行 模型并行把单个模型的参数与计算切分到多块加速器上,让一台设备装不下的大模型也能训练。英伟达 2019 年的 Megatron-LM 论文给出了一种层内实现,只需在原生 PyTorch 中插入少量通信操作。 | |
| 上海壁仞科技股份有限公司 中国芯片设计公司,2019 年成立,以自研 BILI 系列芯片和 BIRENSUPA 软件平台为基础,开发通用图形处理器(GPGPU)芯片与智能计算解决方案,覆盖从云端到边缘的人工智能训练与推理。 | |
| 谷歌 TPU v4 谷歌 TPU v4 是从 2020 年起投入使用的机器学习芯片与超级计算机,单个 pod 达 4,096 颗芯片,靠光路交换重构互连,PaLM 与 Gemini 都在其上训练。 | |
| 摩尔线程 摩尔线程是 2020 年成立的国产 GPU 公司,创始人张建中曾任英伟达中国区总经理。它以 MUSA 架构提供 AI 训练推理卡、服务器、集群与显卡,2025 年在科创板上市,收入快速增长但仍在亏损。 | |
| NVIDIA DGX A100 NVIDIA DGX A100 是 NVIDIA 第三代 DGX 系统,2020 年 5 月 14 日发布,内置八块 A100 GPU,AI 性能标称 5 petaflops,最多可切分为 56 个实例。 | |
| 寒武纪思元370 寒武纪第三代云端AI芯片,2021年发布:7 nm芯粒方案封装两颗计算裸片,INT8算力256 TOPS,支持LPDDR5内存与多芯互联,定位为具性价比的推理产品。 | |
| 波士顿动力 Stretch Stretch 是波士顿动力为仓库场景设计的第一款商用机器人,2021 年 3 月发布,最初承担卸货任务,按订单组货则排在后续计划中。 | |
| 昆仑芯(北京)科技有限公司 昆仑芯是从百度分拆出来的AI芯片公司,2021年4月独立,延续百度的昆仑芯片产品线,为数据中心的人工智能计算设计处理器,是国内出货量居前的AI芯片供应商之一。 | |
| 宇树 Go1 宇树科技 2021 年 6 月推出的消费级四足机器人,售价约 1.6 万元,最高奔跑速度每秒 4.7 米,是把腿式机器人卖向普通消费者的一次早期尝试。 | |
| Triton(OpenAI GPU 编程语言) Triton 是 OpenAI 开源的、语法接近 Python 的 GPU 编程语言与编译器。没有 CUDA 经验的研究者也能用它写出高效的 GPU 内核,性能多数情况下接近专家手写的水平。 | |
| AMD Instinct MI250X AMD 的数据中心 GPU 加速器,于 2021 年 11 月 8 日发布,基于 CDNA 2 架构,拥有 220 个计算单元和 128 GB HBM2e 显存,双精度算力突出,同时支持低精度 AI 格式。 | |
| 英伟达 A800 英伟达 A800 是一款数据中心 GPU,2022 年投产,作为面向中国客户的 A100 替代方案,芯片间数据传输速率有所降低,以满足美国出口管制门槛。 | |
| 用深度强化学习控制托卡马克等离子体的磁场 2022 年发表于 Nature 的一篇论文,Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令,产生并维持了多种等离子体位形。 | |
| NVIDIA DGX H100 NVIDIA 于 2022 年 3 月发布的第四代 DGX 系统,单机集成 8 块通过 NVLink 相连的 H100 GPU,FP8 精度下提供 32 petaflops 算力,面向企业级 AI 基础设施。 | |
| PaLM PaLM 是 Google Research 于 2022 年 4 月发布的 5400 亿参数语言模型,在 6144 块 TPU v4 上训练,多项基准成绩优于此前模型。 | |
| 壁仞 BR100 壁仞于 2022 年 8 月发布的通用 GPU,双晶粒封装、7 nm 工艺、770 亿晶体管,厂商称其单芯片算力达到 PFLOPS 级。 | |
| 特斯拉 Optimus 原型机(2022 AI Day) 特斯拉人形机器人 Optimus 的首台原型机在 2022 年 9 月的第二届 AI Day 上亮相,身高约 172 厘米、体重 73 千克,搭载 2.3 千瓦时电池组,全身自由度超过 200 个。 | |
| 寒武纪思元590 思元590是寒武纪2023年发布的第四代云端AI芯片,采用7纳米工艺,训练与推理通用,面向千亿参数级模型,也是公司第五代MLUarch微架构的代表产品。 | |
| 华为昇腾 910B 华为昇腾 910B 是 2023 年量产的 AI 芯片,FP16 算力 320 TFLOPS,配 32 GB HBM2e 显存、1.6 TB/s 带宽,310 W 功耗,采用 7 纳米国产工艺。 | |
| 英伟达 H20 英伟达为中国市场专门设计的数据中心 GPU,目的是在美国出口管制下继续对华销售。它的核心数与性能低于 H100,但在 2025 年 4 月的许可证要求之前,是中国买方可合法买到的最先进英伟达芯片。 | |
| NVIDIA H800(中国市场版) H800 是 NVIDIA 为中国市场改版的 H100 数据中心 GPU,通过削减芯片间传输速率满足 2022 年 10 月的美国出口规则。它后来被用于训练 DeepSeek-V3,并在 2023 年 10 月被收紧后的管制覆盖。 | |
| xAI(SpaceXAI / SpaceXSI) xAI 是埃隆·马斯克创办的 AI 公司,开发 Grok 模型与聊天助手。2026 年被 SpaceX 收购,随后更名为 SpaceXAI,再改称 SpaceXSI。 | |
| Sanctuary AI Phoenix Phoenix 是 Sanctuary AI 于 2023 年 5 月发布的第六代人形通用机器人,由该公司的 Carbon AI 控制系统驱动。 | |
| 宇树 Go2 宇树 Go2 是 2023 年 7 月发布的四足机器人,起售价 9997 元,宇树称其首次把这一品类的价格拉到 1 万元以下。 | |
| Apptronik Apollo Apollo 是 Apptronik 的人形机器人,2023 年 8 月公开亮相:身高 1.72 米,电力驱动,负载 55 磅,配备可更换的 4 小时电池,最初瞄准仓库和工厂作业。 | |
| NVIDIA TensorRT-LLM TensorRT-LLM 是 NVIDIA 的开源库,用于在 NVIDIA GPU 上加速和优化大语言模型推理,2023 年 10 月 19 日公开发布,可从 GitHub 免费获取,也随 NVIDIA NeMo 提供。 | |
| NVIDIA H200 NVIDIA 于 2023 年 11 月发布的 H200 是首款采用 HBM3e 显存的 GPU,141 GB 容量接近 A100 的两倍,在 Llama 2 70B 上的推理速度接近 H100 的两倍。 | |
| 微软 Azure Maia 100 Azure Maia 100 是微软第一颗自研 AI 芯片,2023 年 11 月发布,用于在自家 Azure 数据中心里训练和运行大语言模型,不对外销售。 | |
| Google TPU v5p Google TPU v5p 是 2023 年推出的 TPU 世代,规格列出每颗芯片 459 TFLOPS 的 BF16/FP8 峰值算力、95 GiB HBM 和每 pod 8,960 颗芯片。 | |
| MLX(苹果机器学习框架) MLX 是苹果机器学习研究团队 2023 年 12 月开源的机器学习框架,主要面向 Apple silicon。它仿照 NumPy 提供 Python 接口,并针对统一内存架构设计,让 CPU 与 GPU 共用同一份数据。 | |
| AMD Instinct MI300X AMD 面向生成式 AI 的数据中心 GPU,2023 年 12 月发售,基于 CDNA 3 架构,以 192 GB HBM3 内存为主要卖点。 | |
| 特斯拉 Optimus 第二代 特斯拉 Optimus 第二代是 2023 年 12 月发布的人形机器人演示版本:行走速度提高 30%,重量从 73 公斤降到 63 公斤,手部为 11 自由度并装有触觉传感器。[^1][^2] | |
| 英特尔 Gaudi 3 英特尔 Gaudi 3 是 2024 年推出的 AI 加速器,由两颗 5 纳米计算芯片组成,配 128 GB HBM2e 显存,BF16 与 FP8 矩阵算力均为 1,835 TFLOPS,OAM 模块上还集成了 200GbE 网络端口。 | |
| 昆仑芯 P800 昆仑芯 P800 是昆仑芯第三代 AI 加速卡,2024 年推出,基于自研 XPU-P 架构,被用于万卡级训练集群和多个行业客户的部署中。 | |
| NVIDIA B200(Blackwell) NVIDIA 于 2024 年 3 月发布的 Blackwell 架构数据中心 GPU,接替 Hopper,由两颗拼接的芯片构成,配合新一代 NVLink 与 FP4 支持大规模 AI 训练和推理。 | |
| Meta MTIA 第二代 Meta 自研 AI 芯片 MTIA 的第二代,2024 年 4 月 10 日公布,采用台积电 5 纳米工艺,专门服务 Meta 自家的排序与推荐模型。 | |
| 宇树 G1 宇树科技于 2024 年 5 月 13 日发布的人形机器人,起售价 9.9 万元人民币。整机重约 35 公斤,可折叠收纳,分为标准版与可配置的 EDU 版。 | |
| 讯飞星火 V4.0 科大讯飞于 2024 年 6 月 27 日发布的大语言模型,完全在与华为共建的国产算力平台上训练;讯飞称其达到 GPT-4 水平,同时承认代码与多模态能力落后。 | |
| AMD Instinct MI325X AMD 于 2024 年 10 月 10 日发布的数据中心 GPU,基于第三代 CDNA 架构,配备 256 GB HBM3E 显存、带宽 6 TB/s,面向一万亿参数级别的模型。 | |
| Google TPU v6e(Trillium) Google TPU v6e(又称 Trillium)是 Google Cloud 的 AI 加速芯片,公布了每芯片 BF16/FP8 算力、HBM 内存与 Pod 级互连规格。 | |
| AWS Trainium2 AWS Trainium2 是亚马逊云科技的第二代自研机器学习芯片,以最多 16 颗芯片的 EC2 Trn2 实例和最多 64 颗芯片的 Trn2 UltraServer 形式提供,AWS 称其性价比优于同代 GPU 实例。 | |
| 海光深算三号 深算三号是海光于 2025 年上市的 GPGPU 架构深度计算处理器,采用 7 纳米芯粒封装,HBM 带宽 1.8 TB/s,并配有类 CUDA 的软件工具链。 | |
| 摩尔线程 MTT S5000 摩尔线程的旗舰训推一体 GPU 智算卡,基于 PH100 芯片和「平湖」架构,稠密 AI 算力 1000 TFLOPS、显存 80 GB,是公司 2025 年的主要出货产品。 | |
| 讯飞星火 X1 讯飞星火 X1 是科大讯飞 2025 年 1 月发布的深度推理大模型,完全基于国产算力平台训练,此后多次升级,并落地教育与医疗场景。 | |
| AMD Instinct MI350X AMD Instinct MI350X 是 AMD MI350 系列中的数据 GPU,基于 CDNA 4 架构,单卡最高 288 GB HBM3E 显存、8 TB/s 带宽,板卡功耗上限 1,000 W。 | |
| Step 3 Step 3 是阶跃星辰开源的多模态推理模型,总参数 3210 亿,每个 token 激活 380 亿参数。2025 年 7 月发布,采用 Apache 2.0 许可证。 | |
| 华为昇腾 970 华为昇腾 970 是华为 2025 年 9 月公布的路线图上最后一颗 AI 芯片,计划 2028 年第四季度上市;按公布的目标,它的 FP8、FP4 算力约为昇腾 960 的两倍,互联带宽和内存带宽也大幅提高。 | |
| 华为昇腾 960 昇腾 960 是华为路线图中的 AI 芯片,计划 2027 年第四季度上市,宣称算力、内存容量与带宽、互联端口均为昇腾 950 的两倍,并支持自有的 HiF4 4 位格式。 | |
| 宇树 H2 宇树 H2 是 2025 年 10 月 20 日发布的仿生人形机器人,头部带仿生面部,全身 31 个自由度,整机约 70 公斤,标价 19.9 万元。 | |
| AMD Instinct MI400 AMD Instinct MI400 是 AMD 面向 AI 的下一代数据中心 GPU,预计 2026 年推出,配备 432 GB HBM4 显存,将被集成在 AMD 的 Helios 机柜级系统中交付。 | |
| 寒武纪思元690 寒武纪的旗舰加速芯片思元690于2026年初量产,采用双裸片封装,FP16算力超过700 TFLOPS,配备196 GB HBM3内存,面向超大规模训练任务。 | |
| 量产版 Atlas(2026) 2026年1月,波士顿动力与现代汽车集团发布量产版 Atlas 人形机器人,计划在现代汽车和 Google DeepMind 部署,并用强化学习与基础模型训练机队。 | |
| 微软 Maia 200 微软 Maia 200 是 2026 年 1 月 26 日发布的推理加速器,采用台积电 3 纳米工艺,配备 216 GB HBM3e 内存,FP4 算力超过 10 petaflops,用来运行 OpenAI 的 GPT-5.2 等模型。 | |
| 平头哥真武 810E 真武 810E 是阿里巴巴旗下平头哥自研的 AI 芯片,2026 年 1 月上线官网,配备 96 GB 高带宽内存,面向训练、推理与自动驾驶,已在阿里云多个万卡集群部署。 | |
| GLM-5 GLM-5 是智谱 2026 年 2 月 12 日发布的开源模型,采用 MIT 许可证,总参数 7440 亿,每个 token 激活 400 亿参数,面向智能体工程(agentic engineering)。 | |
| 黄仁勋 黄仁勋(Jensen Huang)是英伟达(NVIDIA)的创始人之一,自公司 1993 年成立起担任总裁、首席执行官和董事会成员。英伟达把图形处理器(GPU)的发明和加速计算的开拓归于这一时期。 | |
| Google TPU v5e Google TPU v5e 是 2023 年推出的机器学习加速芯片,单颗芯片含 1 个 TensorCore,bfloat16 峰值算力 197 TFLOP,可组成 256 颗芯片的 Pod,兼顾训练与推理。 | |
| Liquid AI Liquid AI 是一家「效率优先」的基础模型公司,从 MIT CSAIL 分拆创立,主张模型应跑在本地设备而非只在云端,代表成果是全模态模型 LFM3-Omni-2B。 | |
| 英伟达 GH200 Grace Hopper 超级芯片 GH200 是英伟达的超级芯片,将 72 核 Arm CPU 与 Hopper GPU 经 NVLink-C2C 装进同一封装,搭配 HBM 与最多 480 GB CPU 内存。 | |
| SK 海力士 SK 海力士是总部位于韩国的 DRAM 与 NAND 闪存供应商,也是发布全球首款 HBM、并声称完成全部六代 HBM 开发与出货的公司。 | |
| 仿真到现实迁移 仿真到现实迁移指先在仿真中训练机器人策略,再迁移到真实机器人,用合成数据补充昂贵的人工演示数据。 | |
| AMD(超威半导体) AMD 是芯片设计公司,AI 业务核心是 Instinct 系列 GPU 与加速处理器;通过收购赛灵思、ZT Systems 扩展版图,并与 OpenAI 达成 6 吉瓦 GPU 部署协议。 | |
| 键值缓存(KV cache) 键值缓存把模型为先前 token 算出的键和值保存下来,生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。 | |
| 谷歌(Google) 谷歌是 Alphabet 旗下的科技公司,在 AI 上同时做几层事情:自研 TPU 芯片、训练 PaLM 与 Gemini 等大模型,并在 2023 年把研究实验室整合为 Google DeepMind。 | |
| 英特尔 英特尔是一家芯片公司。它 2017 年买下 Mobileye、2022 年让其独立上市并保留多数股权,又把 Falcon Shores 降为内部测试芯片、改押 Jaguar Shores,显示它如何进出相邻市场。 | |
| 苏姿丰 苏姿丰(Lisa Su)是电气工程师,2014年出任AMD总裁兼首席执行官,2022年起兼任董事会主席,任内公司推出了面向AI的加速器产品。 | |
| AWS Trainium AWS Trainium 是亚马逊云科技(AWS)为深度学习训练专门设计的芯片,通过 EC2 Trn1 实例提供,AWS 称其训练成本比同类实例最多低 50%。 | |
| AWS Inferentia2 AWS Inferentia2 是亚马逊云科技为推理打造的第二代自研芯片,单颗芯片带 32 GB 高带宽内存、最高 190 TFLOPS 的 FP16 算力,一台 EC2 Inf2 实例最多可装 12 颗。 | |
| 曼彻斯特大学 位于英格兰曼彻斯特的公立研究型大学,把 1824 年曼彻斯特机械学院的创办算作建校起点,2004 年形成现在的建制;世界上第一台电子存储程序计算机「曼彻斯特 Baby」就建在这里。 | |
| 康奈尔大学 康奈尔大学是位于纽约州伊萨卡的私立研究型大学,创办于1865年。它也是弗兰克·罗森布拉特求学和工作的地方,知觉机这一早期学习机器、第一个神经网络正是在这里诞生。 | |
| IBM 701 电子数据处理机 IBM 的第一台电子计算机,1952 年 4 月由 Thomas J. Watson 向股东宣布。它按通用计算机设计,速度约为前代机器的 25 到 50 倍,并开启了 IBM 700 系列。 | |
| 小米集团 以智能手机、智能硬件和 AIoT 平台为核心的消费电子与智能制造公司,2018 年在香港上市,并把工程能力延伸到四足与人形机器人。 | |
| Kinect for Windows 微软于 2012 年 2 月 1 日推出的商用版 Kinect 体感摄像头,建议零售价 249 美元,配套 1.0 版开发工具包,让企业和研究者能在 Windows 电脑上开发基于动作与语音的应用。 | |
| 小鹏汽车 小鹏汽车是一家 2014 年成立、总部位于广州的中国智能电动车公司,并把自研的 AI 技术延伸到人形机器人、新一代驾驶模型和 Robotaxi 计划上。 | |
| NVIDIA Tesla K80 NVIDIA Tesla K80 是 2014 年 11 月发布的双 GPU 数据中心加速卡,在一块 300 W 的板卡上集成两颗 GK210、24 GB 显存,单精度峰值最高 8.74 万亿次浮点运算每秒。 | |
| Talen Energy Talen Energy 是一家独立发电商,2015 年由 PPL 竞争性发电业务分拆成立,后被 Riverstone 私有化,经破产重组后成为亚马逊的核电供应方。 | |
| Cerebras Systems Cerebras Systems 是一家 2015 年成立的美国 AI 芯片公司,用整片晶圆制造单颗超大处理器,代表作是从 WSE、CS-1 到 WSE-3、CS-3 的晶圆级计算系统。 | |
| Graphcore 英国芯片公司,2016 年成立于布里斯托,设计面向 AI 负载的智能处理器(IPU);经历大额融资与高额亏损后,2024 年成为软银集团的全资子公司。 | |
| Kairos Power Kairos Power 是 2016 年成立的美国核能公司,正在开发采用 TRISO 燃料与熔盐冷却的小型模块化高温反应堆,在田纳西州建设 Hermes 示范堆,并与谷歌约定到 2035 年部署 500 兆瓦项目。 | |
| 波士顿动力 Handle Handle 是波士顿动力研发的一款双轮平衡机器人,用源自 Atlas 的机械臂搬运物体。公司把卡车卸货、码托盘等任务记在它名下,并表示这项研究后来催生了仓储机器人 Stretch。 | |
| NVIDIA DGX-2 NVIDIA DGX-2 是 2018 年 3 月发布的一台服务器,把 16 块 Tesla V100 GPU 与新的 NVSwitch 互联装进一个机箱,NVIDIA 称它是首台达到两千万亿次浮点运算的单一服务器。 | |
| 平头哥半导体有限公司 平头哥半导体是阿里巴巴集团旗下的芯片设计公司,2018年成立,先后推出含光800 AI推理芯片、倚天710服务器CPU和真武PPU AI处理器,真武已被阿里巴巴大规模用于通义千问模型的训练与推理。 | |
| Cerebras 晶圆级引擎(WSE) Cerebras Systems 于 2019 年发布的 AI 处理器,把整片硅晶圆当作一颗芯片,容纳超过 1.2 万亿个晶体管和 40 万个核心;该系列已发展至 2024 年的 WSE-3。 | |
| 沐曦股份 沐曦股份是一家 2020 年 9 月在上海成立的 GPU 芯片公司,产品覆盖推理、通用计算与图形渲染三条线,2025 年 12 月登陆科创板,是中国四家领先的 GPU 创业公司之一。 | |
| 小米 CyberDog 铁蛋 小米 CyberDog(铁蛋)是小米在 2021 年 8 月发布的四足仿生机器人。工程探索版定价 9999 元、全球限量 1000 台,面向开发者开放,可用于二次开发。 | |
| Megatron-Turing NLG 530B NVIDIA 与微软 2021 年 10 月联合发布的 5300 亿参数语言模型,为当时最大的单体 Transformer 语言模型。 | |
| 星座能源 美国能源公司,总部位于巴尔的摩,是美国最大的电力生产商之一;2024年与微软签约,推动三里岛1号机组重启。 | |
| 推测解码(Speculative decoding) 推测解码是一种加速大模型文本生成的算法:小模型先提出若干候选词,大模型对这些候选并行检查,在输出完全不变的前提下更快地生成。 | |
| Meta MTIA 第一代 MTIA 第一代是 Meta 自研的第一代 AI 推理加速器,采用台积电 7 纳米制程,配备 128 MB 片上内存,面向深度学习推荐模型。 | |
| 讯飞星火 V3.5 讯飞星火 V3.5 是科大讯飞于2024年1月30日发布的大语言模型,是首个基于全国产算力平台飞星一号训练的星火模型,发布时与 GPT-4 Turbo 作了比较。 | |
| Mistral NeMo Mistral NeMo 是 Mistral AI 与 NVIDIA 于 2024 年 7 月发布的 120 亿参数开放权重模型,支持 128K token 上下文与多语言。 | |
| Ministral 3B / 8B Ministral 3B 与 8B 是 Mistral AI 2024 年发布的端侧小模型,支持长上下文、价格低,3B 据称在多数基准上超过 Mistral 7B。 | |
| 英特尔 Falcon Shores Falcon Shores 是英特尔的一颗芯片。2025 年 1 月,英特尔表示只把它当作内部测试芯片使用、不推向市场,并把机架级 AI 数据中心方案寄望于 Jaguar Shores。 | |
| GLM-4.6 GLM-4.6 是智谱于 2025 年 9 月下旬发布的开源大语言模型,上下文窗口扩展到 200K tokens,检查点约 3570 亿参数,以 MIT 许可证发布,重点面向编码、推理与智能体任务。 | |
| DeepSeek-V3.2-Exp 实验模型 DeepSeek 于 2025 年 9 月 29 日发布的实验模型,首次引入 DeepSeek 稀疏注意力以降低长上下文的训练与推理成本,同时开放权重并大幅下调 API 价格。 | |
| 讯飞星火 X1.5 讯飞星火 X1.5 是科大讯飞 2025 年 11 月发布的深度推理模型,运行在与华为共同构建的国产算力平台上,采用总参数 2930 亿的混合专家结构。 | |
| Ministral 3 Mistral AI 于 2025 年 12 月发布的小型稠密模型系列,含 3B、8B、14B 三个规模,每个规模都有基础、指令和推理版本,均支持图像理解,以 Apache 2.0 许可发布。 | |
| 讯飞星火 X2 科大讯飞于 2026 年 2 月 11 日发布的大语言模型,在全国产算力上训练完成,主打教育、医疗、汽车与智能体等行业的实际使用。 | |
| 英伟达 Nemotron 3.5 Transcribe Nemotron 3.5 Transcribe 是英伟达于 2026 年 10 月 28 日发布的免费、开放权重语音转写模型。它能处理长达一小时的录音,支持最多 40 种语言的转写,并可区分最多 8 位说话人。 | |
| 英特尔 Gaudi 2 英特尔 Gaudi 2 是一块面向数据中心的 AI 加速器,配备 96 GB HBM2e 显存、432 TFLOPS 的 BF16 算力和 24 个张量处理器核心,专门承担大型神经网络里的矩阵运算。 | |
| Groq LPU(GroqChip) GroqChip 是 Groq 的 AI 处理器,主打完全确定性、多次运行无差异。它采用 14 纳米工艺,片上 230 MB SRAM,最高 750 INT8 TOPS。 | |
| AWS Inferentia AWS Inferentia 是亚马逊云科技(AWS)自研的一款芯片,专门用于运行已经训练好的机器学习模型,用户通过 EC2 Inf1 实例使用。它的目标是在推理任务上比通用实例更快、更便宜。 | |
| Cerebras 晶圆级引擎 WSE-2 Cerebras 的第二代晶圆级芯片,被称为当时最大的 AI 处理器:采用 7 纳米工艺,在单块晶圆上集成 2.6 万亿个晶体管、85 万个核心和 40 GB 片上内存。 | |
| 沐曦 曦云 C600 曦云 C600 是沐曦基于自研 GPGPU 架构的数据中心通用 GPU,具备大容量 ECC 显存、128 卡 MetaXLink-E 超节点互联,支持风冷与液冷。 | |
| SambaNova SN40L SambaNova SN40L 是 SambaNova 的一款 AI 芯片,公司称其为「可重构数据流单元」,把数据流式的并行执行与片内 SRAM、共封装 HBM、DDR DRAM 组成的三层存储体系结合在一起。 | |
| 英伟达 L40S 英伟达 L40S 是基于 Ada Lovelace 架构的数据中心 GPU,48 GB ECC 显存兼顾 AI 与图形负载,采用 PCIe Gen4 被动散热设计,不支持 NVLink 与 MIG。 | |
| NVIDIA Tesla T4 NVIDIA Tesla T4 是采用 Turing 架构、功耗 70 瓦的单槽 GPU,面向 AI 推理,把张量核心与专用视频转码引擎装进一张可以直接插进普通服务器的卡里。 | |
| AMD Instinct MI100 AMD Instinct MI100 是一款基于 AMD 第一代 CDNA 架构的 GPU 加速器,配备 32 GB HBM2 显存,并给出双精度、单精度和半精度计算的峰值吞吐指标。 | |
| NVIDIA DGX Spark NVIDIA DGX Spark 是基于 GB10 超级芯片的桌面 AI 计算机,配 20 核 Arm CPU 与 Blackwell GPU,可本地运行大模型。 | |
| NVIDIA A10 NVIDIA A10 是一款基于 Ampere 架构的数据中心 GPU,把图形、视频与 AI 推理放进一张 24 GB 显存的单槽 PCIe 卡,面向主流企业服务器。 | |
| 无问芯穹 中国的人工智能基础设施公司,做的是让多种模型跑在多种芯片上的中间层软件,同时开源 Megrez 系列模型。 | |
| NVIDIA Tesla P40 NVIDIA Tesla P40 是 2016 年 9 月数据表所载的服务器 GPU 加速卡,基于 Pascal 架构,专用于深度学习推理,具备 24 GB 显存和 47 TOPS 的 INT8 性能。 | |
| NVIDIA A30 NVIDIA 基于 Ampere 架构打造的数据中心 GPU,面向 AI 推理和主流企业级计算,配备 24 GB HBM2 显存,功耗上限 165 W,最多可切分为 4 个 MIG 实例。 | |
| Tenstorrent Blackhole Blackhole 是 Tenstorrent 的 AI 加速芯片,Galaxy Blackhole 是装载 32 颗该芯片的服务器,block FP8 算力 23 PFLOPS,芯片之间与集群之间都以以太网互联。 |