深度学习

1943年，麦卡洛克与皮茨描述了一个简化的神经元模型，并证明由这种单元组成的网络可以进行逻辑推理，这是大脑模型与计算之间的早期联系。

人工神经网络是由许多简单相连单元组成的计算系统，其行为由连接权重决定。它的源头是1943年的神经元模型，带学习能力的版本则始于1958年罗森布拉特的感知机。

杰弗里·辛顿（Geoffrey Hinton）是出生于伦敦的计算机科学家，他的神经网络研究是深度学习的核心内容之一，并共享了 2018 年图灵奖和 2024 年诺贝尔物理学奖。

1958年，弗兰克·罗森布拉特描述了感知机：它的连接强度随训练而改变，从而通过试错学会对刺激分类。它成为可训练神经网络的起点。

Mark I 感知机是感知机算法的第一台硬件实现：康奈尔航空实验室为图像识别建造的定制模拟计算机，以 20×20 光电池作输入，用电位器存可调权重。

杨立昆（Yann LeCun）是法国计算机科学家，以直接从像素中学习图像识别的卷积神经网络闻名，并共享 2018 年 ACM 图灵奖。

加拿大计算机科学家，其在序列模型、词嵌入和注意力机制上的工作，为现代语言模型奠定了重要基础。他与杰弗里·辛顿、杨立昆共享2018年ACM A.M.图灵奖。

《Perceptrons》是 Marvin Minsky 与 Seymour Papert 于 1969 年出版的著作，用数学证明划定单层感知机的计算边界，长期被认为影响了 20 世纪 70 年代神经网络研究的走向。

John Hopfield 于 1982 年提出的循环神经网络，把模式存为能量函数的极小值，能从残缺或失真的输入回忆出完整模式，并让统计物理成为研究神经网络的常用工具。

1982 年约翰·霍普菲尔德（John J. Hopfield）的论文提出，大量简单神经元式单元组成的网络能集体存储与取回记忆。该模型后来被称为霍普菲尔德网络，相关工作获 2024 年诺贝尔物理学奖肯定。

自动驾驶是由计算机系统而非人来操作道路车辆。它的六级自动化量表、两条主要技术路线，以及从1980年代起延续至今的一系列研究车辆，构成了今天讨论这一领域的框架。

《并行分布式处理》是 Rumelhart、McClelland 与 PDP 研究组由 MIT Press 出版的两卷本著作，主张以大量简单单元的并行互联描述心智，是联结主义第二次浪潮的代表文献。

以色列裔加拿大计算机科学家，1986 年生；参与构建 AlexNet，共同创办 OpenAI 并任首席科学家，2024 年创办 Safe Superintelligence Inc.

1986年，鲁梅尔哈特、辛顿和威廉姆斯在《Nature》上发表论文，证明反向传播能让多层网络中的隐藏单元学会任务的有用内部特征。如今，这一方法是大多数神经网络的标准做法。

反向传播（backpropagation）是多层神经网络的学习方法：把输出误差逐层传回，再用梯度下降调整权重。1986年一篇《Nature》论文使其广为人知，至今仍是标准训练方法。

模仿学习通过从专家示范中做监督学习来训练智能体完成任务，而不是靠反复试错。最基本的形式是行为克隆，最主要的弱点是分布偏移。

ALVINN 是 1988 年卡内基梅隆大学开发的神经网络自动驾驶系统，通过观察人类驾驶员学会操控 Navlab 厢式车，是端到端学习驾驶的早期示范。

卷积神经网络让同一组小型图案探测器扫过整张图像，因此无论特征出现在哪里都能被找到。它在1989年用反向传播训练，1998年以LeNet-5的形式成熟，如今已是计算机视觉的标准方法。

这篇 1992 年的论文由 Boser、Guyon 和 Vapnik 提出一种训练算法，最大化训练样本与决策边界之间的间隔，并在光学字符识别实验中检验其泛化表现。[^1]

英伟达是图形处理器（GPU）的发明者，凭借 CUDA 架构和支撑 AlexNet 的芯片，成为现代人工智能算力的主要提供者之一。

这篇 1997 年的论文提出了带门控的记忆单元和「恒定误差传送带」，使循环网络能跨越很长的时间间隔学习，塑造了 Transformer 出现前的许多模型。

2006 年，Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络，再做整体微调；所得带三个隐藏层的模型既能生成手写数字，分类效果也很好。

2009 年 ICML 论文，作者为 Rajat Raina、Anand Madhavan 与 Andrew Y. Ng，用图形处理器训练深度信念网络与稀疏编码模型，速度比多核 CPU 快数十倍。

CIFAR-10 是一个用于图像分类研究的小图数据集：6 万张 32×32 彩色图像分属 10 个互斥类别，5 万张训练、1 万张测试，由 Krizhevsky、Nair 和 Hinton 整理。

2009年的这篇论文提出了ImageNet，一个规模大、标注清晰、按WordNet层级组织的图像数据库，后来成为ILSVRC竞赛的基础。

这篇2010年的论文分析深度前馈网络为何难以训练：S 型激活函数在随机初始化下容易饱和，各层雅可比矩阵的奇异值远离1时训练更难；作者据此提出一种收敛明显更快的新初始化方案。

总部位于伦敦的人工智能研究机构，2023 年由 DeepMind 与谷歌研究部门的 Brain 团队合并而成，以 AlphaGo、AlphaFold 和 Gemini 系列模型闻名。

这篇论文用逐像素分类的方法，从单幅深度图像直接得到三维关节点位置，不使用时间信息，在消费级硬件上达到每秒 200 帧，获 CVPR 2011 最佳论文。

2011 年 Glorot、Bordes 与 Bengio 的论文，报告由整流神经元构成的深度网络性能不逊于 tanh 网络，并且在标注数据充足的纯监督任务上无需无监督预训练即可达到最佳表现。

2012年的NeurIPS论文提出了AlexNet，这是一个在GPU上训练的大型卷积神经网络，并在ILSVRC-2012竞赛中夺冠。

注意力机制衡量序列中每个元素相对于其他元素的重要程度并给出权重，使模型能直接读取输入的任意位置。它是 transformer 的核心运算。

生成对抗网络让一个生成器和一个判别器在零和博弈中相互竞争，生成器因此学会模仿训练数据的分布；2014 年由 Ian Goodfellow 等人提出，此后衍生出一系列图像生成架构。

Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。

Bahdanau、Cho 与 Bengio 2014 年的这篇论文让翻译模型在生成每个词时回看整个源句，这一注意力（attention）机制后来成为 Transformer 的基础之一。

注意力机制让神经网络按相关程度为输入各部分分配权重。自注意力（self-attention）将其用于序列内部，是 Transformer 的核心运算。

这篇 2014 年的论文证明：把大量 3×3 的小卷积核堆到 16–19 个权重层，能提升大规模图像识别；其模型在 ImageNet Challenge 2014 上拿下定位赛道第一、分类赛道第二，并对外公开。

Sutskever、Vinyals 与 Le 2014 年的这篇论文表明，两个 LSTM 可以完成翻译并超过基于短语的基线，确立了后来翻译模型常用的编码器-解码器模式。

2014 年的论文，提出 Inception 架构以及用它搭成的 22 层网络 GoogLeNet，在 2014 年 ImageNet 挑战赛的分类与检测任务上取得最好成绩，top-5 错误率 6.67%。

GloVe 是 2014 年提出的一种词向量方法，通过分解全局词共现矩阵来学习词表示；它与 word2vec 同年出现，成为静态词向量的两种标准做法之一。

Adam 是 Diederik P. Kingma 与 Jimmy Ba 在 2014 年论文中提出的随机优化算法：用梯度一阶矩与二阶矩的滑动估计为每个参数自适应地确定步长，内存开销小、超参数通常无需太多调整。

残差连接把一个模块的输入直接加到它的输出上，让模块只学需要改变的那一部分。它使很深的网络可以训练，也是今天 Transformer 的标准组件。

谷歌第一代张量处理单元是为加速数据中心内神经网络推理而自研的专用芯片。它 2015 年上线、2016 年公开，证明专用加速器在性价比上可以胜过 CPU 和 GPU。

2015年，LeCun、Bengio 与 Hinton 在《自然》发表综述，说明多个处理层组成的模型如何学习分层数据表示，并梳理语音、图像等领域的成果。

2015 年《自然》论文中，Mnih、Silver 等人用同一个深度 Q 网络智能体，仅凭像素和分数就在 49 款 Atari 游戏上达到职业人类测试员水平。

Google 的第二代机器学习系统，2015 年 11 月 9 日以 Apache 2.0 许可开源，接替前代系统 DistBelief。

AlphaGo 是 DeepMind 开发的围棋程序，把深度神经网络与蒙特卡洛树搜索结合起来。2016 年它战胜顶尖职业棋手李世石，比赛吸引大量观众，成为学习型系统能力的一个标志性事件。

2016 年的论文，Zoph 与 Le 用强化学习训练的循环网络自动生成神经网络结构，在 CIFAR-10 上媲美人类最佳设计，在 Penn Treebank 上超过 LSTM。

PyTorch 是 Meta 于 2017 年发布的开源深度学习框架，现由 Linux 基金会旗下的 PyTorch 基金会治理。它既用于研究，也用于训练和运行生产环境中的大模型。

Mask R-CNN 是 2017 年提出的物体实例分割框架，在检测物体的同时为每个实例生成高质量掩码，通过给 Faster R-CNN 增加并行掩码分支实现。

Google TPU v2 是 Google 于 2017 年 5 月发布的第二代张量处理单元。它加入浮点支持和 bfloat16，并可组成 256 颗芯片、11.5 petaFLOPS 的 pod。

NVIDIA 首款基于 Volta 架构的数据中心 GPU，2017 年 5 月发布。它引入张量核心专门加速矩阵乘法；OpenAI 后来的 GPT-3 系列模型即在 V100 上训练。

Transformer 是2017年提出的神经网络架构，用自注意力取代了循环和卷积结构，今天大多数大语言模型都以它为基础。

2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。

DeepMind 的 AlphaGo Zero 从随机落子开始，只靠自我对弈学会围棋，训练三天便以 100 比 0 击败此前击败人类冠军的 AlphaGo 版本。相关论文于 2017 年 10 月发表在《自然》。

这是 Matthew E. Peters 等六位作者 2018 年的论文，用预训练的深层双向语言模型内部状态表示词，使向量随语境变化；把它加到已有模型上，在六个自然语言处理任务上提升了成绩。

预训练（pre-training）用海量无标注文本训练大模型，微调（fine-tuning）用少量标注数据使其适应具体任务。

OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。

BERT 是 Google 的双向语言模型，通过遮盖部分词再还原的方式预训练，微调后在问答和语言理解基准上刷新成绩，并被用于 Google 搜索。

Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。

GPT-3 是一个拥有 1750 亿参数的自回归语言模型，相关论文发表于2020年5月。它能在提示词中仅凭少量示例完成新任务，无需梯度更新，最初通过 OpenAI 的 API 提供。

这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。

Isomorphic Labs 是从 DeepMind 分出的 AI 药物研发公司，自称起点为 2021 年，开发 IsoDDE 平台，并与诺华、礼来、强生等药企合作。

2021 年，Fedus、Zoph 与 Shazeer 简化了混合专家模型的路由算法，使语言模型在参数量扩展到万亿级别时，每个样本的计算开销仍然保持恒定。

RoseTTAFold 是贝克实验室 2021 年发表的三轨神经网络蛋白质结构预测方法，在 CASP14 上精度接近 AlphaFold2，能仅凭序列预测蛋白质复合物，代码公开并配有公共服务器。

NVIDIA H100 是首款基于 Hopper 架构的数据中心 GPU，2022 年 3 月发布，为训练和运行大模型设计，使用 HBM3 显存与 FP8 精度。

FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。

RT-1 是一个控制真实机器人的变换器模型，用 13 台机器人历时 17 个月收集的超过 13 万个回合训练，在 700 多条指令上报告了 97% 的成功率。

2023 年的一篇论文把人类反馈强化学习的优化目标改写成一个简单的分类损失，让语言模型不必依赖独立的奖励模型和强化学习就能对齐人类偏好。

Mamba 是 Albert Gu 与 Tri Dao 提出的一种序列建模架构，用选择性状态空间替代注意力，实现线性时间与更快推理，语言建模表现可与两倍规模的 Transformer 相比。

Cerebras 于 2024 年 3 月发布的第三代晶圆级 AI 芯片，在 46,225 平方毫米的一整块硅片上集成 4 万亿个晶体管，目标是让超大模型在单一内存空间中训练。

AlphaFold 3 是 DeepMind 于 2024 年 5 月发布的结构预测模型，可预测蛋白质、DNA、RNA、配体等分子的结构与相互作用。[^1]

AlphaFold 3 于2024年5月发表于《自然》，把结构预测扩展到生物分子相互作用，在蛋白质—配体结合上准确率高于对接工具，抗体—抗原预测高于 AlphaFold-Multimer v.2.3。

Llama 3.1 于 2024 年 7 月 23 日发布，在 Llama 3 系列中加入了 4050 亿参数的模型，并把上下文扩展到 12.8 万个词元。Meta 称，这是目前最强、可公开获取的基础模型。

SK 海力士于 2024 年 9 月 26 日宣布量产 12 层 HBM3E，是首个做出 12 层堆叠高带宽内存的公司：封装容量 36 GB，厚度与 8 层版本相同，工作速度 9.6 Gbps。

π0 是 Physical Intelligence 发布的通用机器人策略，从 30 亿参数的视觉语言模型改造而来，用流匹配输出连续动作，能以每秒最多 50 次的频率驱动机器人完成灵巧操作。

TPU7x（Ironwood）是 Google 第七代张量处理器：单芯片 192 GB 高带宽内存，支持 FP8，一个 Pod 可装 9,216 颗芯片，编程模型为每颗芯片暴露两个设备。

昇腾 910C 是华为昇腾 910 系列的数据中心 AI 芯片，基于达芬奇架构，2025 年第一季度上市，FP16 算力 800 TFLOPS，配备 128 GB 高带宽内存。

华为云基于 Atlas 900 A3 超节点构建的云服务实例，把最多 384 颗昇腾 910C 芯片连成一台计算机对外提供算力。

2025 年 3 月 19 日，SK 海力士宣布全球首家向主要客户提供 12 层 HBM4 样品：带宽超过 2 TB/s、容量 36 GB，比 HBM3E 快 60% 以上。

华为昇腾 950 是 2025 年 9 月公布的两款 AI 芯片系列，昇腾 950PR 与 950DT 共用一颗芯片，并首次采用华为自研高带宽内存，低精度算力最高 2 PFLOPS。

量化把语言模型的权重和激活值用更低的数值精度存储，从而降低推理所需的内存和带宽。LLM.int8() 与 GPTQ 等方法让超大规模模型能够跑在远小的硬件上。

JAX 是一个面向加速器的 Python 数组计算与程序变换库，用于高性能数值计算和大规模机器学习。它提供 NumPy 风格的接口，并把编译、批处理、自动微分和并行化做成可组合的变换。

强化学习是机器学习与最优控制的一个分支：智能体在动态环境中通过试错，学习怎样的动作能让奖励信号最大化。

无监督学习让算法在没有标签的数据上自行找出结构，如聚类、降维与生成建模。从伊辛模型、玻尔兹曼机到变分自编码器，它是聚类工具与神经生成模型背后的框架。

多模态模型在同一个模型里处理不止一种输入或输出，例如图像和文本。CLIP 与 Flamingo 这两项工作展示了这类模型怎样训练出来，又怎样靠文字提示迁移到新任务。

监督学习用成对的标注样本训练模型，让它学会从输入到输出的映射，从而对未见过的数据给出预测。衡量它成败的关键，是模型在训练集之外的泛化能力。

视觉-语言-动作模型（VLA）是一种机器人策略：输入摄像头图像和一句语言指令，直接输出动作，通常由预训练的视觉-语言模型改造而来。

多伦多大学是加拿大的公立研究型大学。杰弗里·辛顿（Geoffrey Hinton）自1987年起与其保持隶属关系，2012年的深度卷积网络AlexNet也在这里研发。

麻省理工学院位于马萨诸塞州剑桥市，明斯基与麦卡锡在此共同创建的AI实验室后来发展为CSAIL，也曾发明Lisp机器。

加州大学伯克利分校是加州第一所赠地公立研究型大学，建校于1868年，校名取自哲学家乔治·贝克莱，以长期的诺贝尔奖记录、学生运动的历史和在公立大学中的领先排名为人所知。

斯坦福大学是位于加州的私立研究型大学，建有斯坦福人工智能实验室（SAIL）与以人为本人工智能研究院（HAI），后者每年发布AI Index报告。

卡内基梅隆大学位于匹兹堡，其计算机科学系是美国最早的之一，并与Deep Blue象棋系统和Sphinx语音识别等工作密切相关。

贝尔实验室是贝尔系统的研究机构，晶体管、Unix 和 C 语言都诞生于此。杨立昆（Yann LeCun）用于手写数字识别的卷积网络也在这里完成，使其成为神经网络研究的重要早期阵地。

马文·明斯基（Marvin Minsky，1927–2016）是美国科学家，人工智能实验室的创办者之一。他与西摩·派珀特合著的《Perceptrons》分析了简单神经网络的局限。

弗兰克·罗森布拉特（Frank Rosenblatt，1928–1971）是美国心理学家，发明了感知机，这是一种能从样例中调整权重的早期学习机器。Mark I感知机现存于史密森学会。

美国物理学家，1933 年出生，1982 年提出用自旋物理思想存储和重现图案的霍普菲尔德网络，并获得 2024 年诺贝尔物理学奖的一半。

大卫·鲁梅尔哈特（David Rumelhart，1942–2011）是美国认知心理学家，他 1986 年与同事的工作，推动了反向传播和神经网络模型的传播。

麻省理工学院的计算机科学与人工智能实验室（CSAIL）由人工智能实验室与计算机科学实验室于 2003 年合并而成，是 MIT 校园规模最大的实验室，源头可追至 1959 年的 AI Project。

西雅图华盛顿大学的蛋白质科学家，以计算蛋白质设计闻名：2003年用计算方法设计出与自然界已知蛋白质都不相同的新蛋白质，并因此获得2024年诺贝尔化学奖的一半。

德国计算机科学家，1997年与塞普·霍赫赖特合著LSTM论文，自1995年起领导瑞士人工智能实验室IDSIA。他也公开提出，部分AI成果的贡献应得到更充分的认可。

一种监督式的最大间隔模型，用于分类与回归；它用尽可能宽的间隔把不同类别分开，并通过核函数处理非线性数据。

德国计算机科学家，与施密德胡伯合作提出了长短期记忆网络（LSTM），用于学习序列数据。他也领导了2024年的xLSTM研究。

美国计算机科学家，以 Google 的 MapReduce、Bigtable、Spanner 等基础系统，以及 TensorFlow 和 Google 首席科学家身份为人所知。

斯坦福计算机科学家李飞飞创建了 ImageNet 大规模图像数据集及挑战赛，为数据驱动的计算机视觉提供了共同基准，并在学界与产业界长期从事 AI 研究。

英国计算机科学家，1976 年出生，研究强化学习。他领导了 DeepMind 的 AlphaGo 项目，是 2013 年深度 Q 网络论文的作者之一，2025 年创办 Ineffable Intelligence。

戴密斯·哈萨比斯（Demis Hassabis）是英国 AI 研究者和创业者，DeepMind 联合创始人。他于 2024 年与人共享诺贝尔化学奖，表彰蛋白质结构预测方面的工作。

国际机器学习会议（ICML）是每年举办一次的机器学习学术会议，自1980年起持续召开，由国际机器学习学会主办，是该领域历史最悠久的会议，也是影响力最大的三个主要会议之一。

捷克计算机科学家，word2vec的主要作者。word2vec是2013年提出的一组词向量学习方法，他后来还参与了fastText库的开发。

CVPR（计算机视觉与模式识别会议）是每年举办的计算机视觉学术会议，1983 年首次在华盛顿特区举行，通常在 6 月于北美召开，以多级双盲评审和论文开放获取为特点。

玻尔兹曼机是一种用全局能量给每种网络配置打分、并用随机学习算法训练的神经网络。它由杰弗里·辛顿与特里·塞诺夫斯基提出，把能量模型带进了认知科学与机器学习。

美国科学家，1985 年生，在 Google DeepMind 参与开发 AlphaFold，因蛋白质结构预测与德米斯·哈萨比斯共同分享 2024 年诺贝尔化学奖的一半。

循环神经网络（recurrent neural network，RNN）通过反馈连接，把序列中前一步的信息带到下一步。其变体 LSTM 专门用于在更长跨度中保留记忆。

AI 研究者与教育者，生于布拉迪斯拉发，少年时移居多伦多；OpenAI 创始成员之一，曾任特斯拉 AI 总监、主讲斯坦福 CS231n 课程，后加入 Anthropic 的预训练团队。

NETtalk 是 Terrence Sejnowski 与 Charles Rosenberg 构建的人工神经网络，学会把英文文本转换成音素并合成可听的语音，说明只靠样例训练的网络也能泛化到没见过的单词。

神经信息处理系统大会（NeurIPS）是每年 12 月举行的机器学习与计算神经科学会议，1987 年创办，被视为人工智能研究中影响最大的会议之一。

1989年，杨立昆与同事在AT&T贝尔实验室用反向传播训练卷积网络，识别美国邮件上手写的邮政编码数字，测试错误率为5.0%。这项工作表明，卷积结构可以在真实任务中端到端地学习。

微软 1991 年成立的研究机构，成果包括 ResNet 图像识别架构，并用于 Kinect、Bing、HoloLens 等产品。

这是一篇 1992 年由 Watkins 与 Dayan 发表的技术札记，提出了 Q 学习：一种计算量小、增量式的学习最优动作价值的方法，并证明它在特定条件下以概率 1 收敛到最优值。

切尔西·芬是斯坦福大学助理教授，研究元学习、深度强化学习与机器人感知控制的一体化学习，也是 Physical Intelligence 的联合创始人。

Mila是位于蒙特利尔的深度学习研究所，1993年由约书亚·本吉奥（Yoshua Bengio）创立，前身为LISA，培养出伊恩·古德费洛（Ian Goodfellow）等人。

分词（tokenization）把文本切成语言模型真正处理的词元；今天多数系统用字节对编码（BPE）实现，这一 1994 年的压缩算法在 2015 年被引入机器翻译。

Corinna Cortes 与 Vladimir Vapnik 1995年的论文提出支持向量网络：将输入非线性映射到高维特征空间并构造线性决策面，把方法从完全可分数据扩展到非可分数据。

AdaBoost（自适应提升）是 Freund 和 Schapire 在 1995 年提出的统计分类元算法：它反复调整训练样本的权重、依次训练多个弱分类器，再把它们的输出加权合成为一个更强的分类器。

MNIST 是一个包含 60,000 张训练图像和 10,000 张测试图像的手写数字数据库，图像被归一化为 28×28 像素；它与 LeCun 等人 1998 年的论文一起，成为文档识别研究的共同基准。

杨立昆等人1998年的综述主张，学习系统应取代人工设计的特征。它表明LeNet-5等卷积网络在手写数字上优于其他方法，并引入了MNIST数据集。

谷歌的研究部门，位于山景城，通常以 2000 年为成立年份，提出了 Transformer、BERT 与 T5，这些工作构成了现代大语言模型的基础。

Breiman 2001 年的论文把随机森林定义为多棵依赖随机向量的树的组合，分析其泛化误差与树强度和相关性的关系，并报告其错误率与 Adaboost 相当且更抗噪声。

Torch 是一个面向机器学习的科学计算框架，以 LuaJIT 作为脚本层、C/CUDA 作为底层实现，把 GPU 放在首位，并拥有庞大的社区扩展包生态。

词嵌入（word embedding）把每个词表示为一组从文本中学得的数字，用法相近的词得到相近的数字组合。它是现代语言模型的基本组成部分之一。

Yoshua Bengio 等人 2003 年的这篇论文为每个词学习向量，并与预测下一个词的网络一起训练，引入了词嵌入的核心思想。

联结时序分类（CTC）是一种训练循环神经网络为未切分序列（如语音、手写）打标签的方法，不需要逐帧对齐。它于 2006 年提出，用 CTC 训练的 LSTM 因此赢得了循环网络早期的国际竞赛。

Theano 是蒙特利尔学习算法研究所开发的 Python 库与优化编译器，用于高效处理多维数组表达式，自 2007 年起结合符号求导、GPU 运行与 C 代码生成，支撑大规模科学计算与教学。

CIFAR-10 与 CIFAR-100 是从 8000 万张小图像数据集中抽出的带标签子集。CIFAR-10 含 10 类、共 60000 张 32×32 彩色图像。

Alex Krizhevsky 于 2009 年撰写的技术报告，提出 CIFAR-10 与 CIFAR-100，并研究用多层生成模型从小图像中学习特征。

深度神经网络声学建模用多层网络把语音映射为音素等单元。2010 年 NIPS 论文用深度信念网络与均值-协方差 RBM 提取语音特征，在 TIMIT 上取得 20.5% 音素错误率。

图形处理器（GPU）能同时执行大量算术运算，很适合神经网络训练。2010年前后起，GPU被用于深度学习，使其能够在更大规模上实际运行。

Xavier（Glorot）初始化是 Glorot 与 Bengio 在 2010 年提出的权重初始化方法，按层规模设定初始权重尺度，使信号稳定传播，让深层网络收敛更快。

NVIDIA 于 2010 年 11 月发布的消费级显卡。两张各带 3 GB 显存的 GTX 580 后来训练出了在 ILSVRC-2012 夺冠的 AlexNet。

2010年 NIPS 论文，Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模，在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。

2011 年的一篇 workshop 论文，介绍 Torch7：一个扩展 Lua 的数值计算框架与机器学习库，用轻量脚本语言换灵活性，用底层优化内核换速度。

谷歌大脑是谷歌 2011 年启动的深度学习团队，以神经网络识别猫闻名，贡献了 TensorFlow 与 Transformer，2023 年并入 Google DeepMind。

2011 年《机器学习研究杂志》论文提出一套统一的神经网络架构与学习算法，以大量无标注语料学习表示，用极少任务专用工程完成词性标注、组块分析、命名实体识别和语义角色标注。

AlexNet 是一个八层卷积神经网络，在 ILSVRC2012 图像分类任务中以明显优势夺冠，证明用 GPU 在大型标注数据集上训练的大网络可以胜过手工设计特征的方法。

ICLR 是每年4月下旬或5月初举行的机器学习会议，由 Yann LeCun 和 Yoshua Bengio 于2012年创办，以公开同行评审著称。

这是华盛顿大学的一家研究机构，2012 年成立，由 David Baker 领导，设计用于医学和技术的新蛋白质；其实验室产出了 RoseTTAFold，并称做出世界首个计算设计的疫苗。

2012年，Quoc Le、Andrew Ng 等人在谷歌用1000台机器训练大规模无监督神经网络，在没有标注人脸的图像上学会了检测人脸。

2012年发表于 IEEE Signal Processing Magazine 的文章，汇集四个研究组的共同观点，说明用深度神经网络替代高斯混合模型做语音识别声学建模，在多项基准上效果更好。

2012 年 NIPS 论文，提出可在数千台机器集群上训练深度网络的 DistBelief 框架，以及 Downpour SGD 和 Sandblaster 两种优化过程。

变分自编码器是一种生成模型：编码器把输入映射为隐空间上的分布，解码器从采样结果重建输入，训练时最大化数据似然的下界。

谷歌的 Tomas Mikolov 等人 2013 年提交的这篇论文提出 CBOW 和 Skip-gram 两种简单结构，能快速从海量文本学习词向量，是 word2vec 的基础。

2013年论文提出连续 Skip-gram 等高效学习词与短语分布式向量表示的方法，并给出提升向量质量与训练速度的扩展。

Recursion 是一家把自动化实验与计算结合的药物发现公司，平台 Recursion OS 覆盖从靶点识别到临床试验入组。公司 2021 年在纳斯达克上市。

R-CNN 把卷积神经网络用于区域提议做目标检测，在 PASCAL VOC 2012 上平均精度均值达 53.3%，比此前最好结果高出 30% 以上[^1]。

Zeiler 与 Fergus 提出可视化卷积网络中间层的技术，并用消融实验找到在 ImageNet 上超越 Krizhevsky 等人的架构。

DeepMind 提出的强化学习智能体，把 Q 学习与卷积神经网络结合，直接从原始像素学会玩雅达利 2600 游戏，在数十款游戏上达到人类水平，且事先不知道游戏规则。

2013 年，Mnih 等人用 Q 学习变体训练卷积网络，直接以像素为输入学会玩七款 Atari 2600 游戏，六款胜过旧方法，三款胜过人类专家。

Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文，提出一种随机变分推断与学习算法，使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。

2014 年的一篇论文提出 Dropout：训练时随机丢弃神经元，让大型神经网络不易过拟合，并在视觉、语音等领域的多项基准上取得当时最好的结果。

DeepFace 是 2014 年的人脸验证系统，重新设计了对齐与表示两个环节，用一个 1.2 亿多参数的九层网络在 Labeled Faces in the Wild 上达到 97.35% 的准确率。

Preferred Networks 是一家位于东京的技术公司，2014 年设立，自行研发 AI 处理器、自建超级计算机并开发日文大语言模型，股东中包含多家日本大型制造企业。

Caffe 是以 BSD 许可证发布的 C++ 深度学习库，带 Python 和 MATLAB 绑定，用于训练和部署卷积神经网络，由 Yangqing Jia 等人在 2014 年的论文中提出。

一篇2014年的谷歌论文，提出Inception架构；其GoogLeNet在固定计算预算下加深加宽网络，在ILSVRC 2014分类与检测任务上刷新当时最好成绩。

中国芯片设计企业，2014年成立，开发兼容 x86 的处理器与加速器，2022年在科创板上市，主打自研的 C86 与 GPGPU 双线产品。

这篇 2014 年的论文把神经网络与外部记忆耦合起来，网络通过注意力读写记忆；整个系统端到端可微，因此可以用梯度下降训练。

这是 Vinyals 等人在 2014 年发表的论文，用一个端到端训练的深层网络把照片变成句子，在 Pascal 数据集上取得 59 的 BLEU-1 分数，而当时最好成绩为 25。

2014年的一篇论文提出端到端深度学习语音识别系统，省去手工设计的噪声模块和音素词典，依靠多GPU训练的循环网络与合成数据。

知识蒸馏是把大模型或模型集成的能力迁移到小模型上的方法，在更低的算力和部署成本下保留大部分预测性能。

批归一化把每一层的输入在小批量上重新中心化到零、缩放到单位方差，使深度网络的训练更快、更稳定。

2015 年 Sergey Ioffe 与 Christian Szegedy 提出的方法：对每一层的输入按训练小批量做归一化，从而可以用更大的学习率、更随意的初始化，并大幅加快深度网络的训练。

Keras 是用 Python 编写的深度学习 API，可运行在 JAX、TensorFlow 或 PyTorch 之上，让同一份模型代码在多个框架间迁移。

2015 年论文提出与检测网络共享卷积特征的区域建议网络，使候选区域生成几乎无额外成本，实现端到端训练；在 GPU 上达到每秒 5 帧，并在多个基准上取得当时最好精度。

2015 年的论文提出 YOLO，把目标检测视为从图像像素直接回归边界框和类别概率的单一问题。一个神经网络一次评估即可完成预测，达到实时速度。

2015 年的 YOLO 论文把目标检测改写为单个神经网络对边界框和类别概率的回归，实现实时检测，并减少空白背景上的误检。

2015年的这篇论文提出了残差网络，通过捷径连接把每一层的输入加回到输出上。它让超过一百层的网络能够训练，并在2015年的多项ILSVRC和COCO任务中夺得第一名。

2016年《自然》论文介绍了AlphaGo，它结合深度神经网络与树搜索。2015年10月，其分布式版本以5比0击败职业棋手樊麾，首次在不让子的全尺寸围棋中战胜职业棋手。

寒武纪是一家 2016 年成立的 AI 芯片公司，2020 年登陆科创板，产品覆盖云端、边缘和终端，2025 年实现扭亏为盈。

论文分析残差块中的信号传播：用恒等映射作跳跃连接、激活放在相加之后，信号就能在任意两个块之间直接传递；新提出的残差单元更易训练，1001 层网络在 CIFAR-10 上错误率 4.62%。

NVIDIA 于 2016 年 4 月发布的 Tesla P100 是首款基于 Pascal 架构的数据中心 GPU，也是第一个同时用上 HBM2 堆叠显存、面向深度学习的半精度指令和 NVLink 互联的加速卡。

NVIDIA 于 2016 年 4 月发布的 DGX-1 在单个机箱里装了 8 块 Tesla P100 GPU，被称为世界上第一台深度学习超级计算机，把加速卡的数量变成一个可直接采购的整机型号。

飞桨（PaddlePaddle）是百度开源的深度学习框架，2016 年 9 月对外开放，前身是 2013 年起在百度内部研发的 Paddle 平台，发布时被称为国内首个开源深度学习平台。

DeepMind 提出的原始音频生成模型，逐个采样点预测波形，把神经语音合成的自然度大幅拉近人类水平，后来成为 Google Assistant 与云端语音合成的基础。

WaveNet 是一个直接生成原始音频波形的深度神经网络，逐个采样点地预测声音，每个采样点都以之前所有采样点为条件。用于语音合成时，听者认为它比对照的系统明显更自然。

2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。

序列模型（尤其是 Transformer）的组成部分，把每个词元的位置编码成向量，让本身不分先后的注意力感知顺序；形式从原版 Transformer 的正弦编码一直到 RoPE、ALiBi。

张量核心（Tensor Core）是 NVIDIA GPU 内部的专用单元，一步完成小矩阵的乘加运算，让神经网络训练与推理背后的矩阵算术大幅加速。

2017年，Schulman 等五人提出近端策略优化（PPO），一种更易实现和调参的强化学习算法；OpenAI 后来将其作为默认强化学习算法。

2017年论文，作者为 Tsung-Yi Lin 等五人。它把密集单阶段检测器的精度差距归因于前景与背景的极端类别不平衡，并提出降低已分类良好样本损失权重的焦点损失。

ONNX 是一种开放的机器学习模型表示格式，2017 年 9 月由微软和 Facebook 公布，让开发者能把模型在不同框架之间搬移，而不必每次在互不兼容的格式之间做转换。

DeepMind 开发的围棋程序，不用人类棋谱，只靠自我对弈从随机下法起步学会围棋，几天之内就击败了此前版本的 AlphaGo。

mixup 是 2017 年一篇论文提出的训练原则：把两个样本及其标签按同一比例混合成新样本训练神经网络，在图像、语音和表格数据上提升了模型的泛化能力。

AlphaZero 是 DeepMind 研发的通用棋类系统，2017 年 12 月以预印本形式公布。它只被给定规则，从随机走子开始，在 24 小时内于国际象棋、将棋和围棋上都达到了超越人类的水平。

2017 年挂在 arXiv、后于 Science 发表的论文：同一个自我对弈强化学习算法 AlphaZero 学会了国际象棋、将棋和围棋，并在三种棋里都战胜了强力的专门程序。

Google 自研的第三代张量处理单元，2018 年推出，内存容量与带宽翻倍、峰值吞吐提升、单芯片功耗下降，并采用液冷以支持更高密度的集群。

ULMFiT 是 Howard 与 Ruder 在 2018 年提出的通用语言模型微调方法，用于 NLP 任务；在六个文本分类任务上超过当时最先进水平，并在少标签下表现突出。

OpenAI Five 是 OpenAI 用强化学习训练的五人《Dota 2》机器人队伍，2019 年 4 月在旧金山以三局两胜击败当届世界冠军 OG。

GPT-1 是 OpenAI 的第一代生成式预训练 Transformer，发布于 2018年6月。它表明，先用无标注文本预训练、再针对具体任务微调的同一个语言模型，能够改进多项语言任务的结果。

2018 年的论文用神经网络参数化隐藏状态的导数，取代固定层序列，输出由微分方程求解器算出，得到常数内存开销的连续深度模型。[^1]

DeepMind 研发的第一代蛋白质结构预测系统，2018 年在 CASP13 盲测中综合排名第一，做法是估计残基间距离的概率分布，而不只依赖接触图。

AlphaStar 是 DeepMind 开发的《星际争霸 II》AI。2019 年它在三个种族上都达到宗师水平，在 Battle.net 活跃玩家中排名超过 99.8%。

GPT-2 是 OpenAI 于2019年2月宣布的大型语言模型，最大版本有 15 亿参数。OpenAI 起初没有公开完整模型，随后分阶段发布，直到2019年11月才发布完整版本。

百度于 2019 年 3 月发布的第一代 ERNIE 预训练语言模型，在 BERT 的掩码预训练基础上加入实体级和短语级掩码，并在五项中文 NLP 任务上报告了当时最好的成绩。

XLNet 是一种广义自回归预训练方法：它通过最大化所有分解顺序排列的期望似然来学习双向语境，并在可比实验设置下于 20 项任务上优于 BERT。

RoBERTa 是对 BERT 预训练的复现研究：系统测量关键超参数与训练数据规模的影响，发现 BERT 训练明显不足，妥善训练后即可匹敌或超过此后发表的模型，并在 GLUE、RACE、SQuAD 上取得最好成绩。

昇腾 910 是华为 2019 年发布的 AI 训练处理器，与 MindSpore 框架一同推出，FP16 算力 256 teraflops，曾用于在数千块芯片组成的集群上训练 PanGu-α 语言模型。

中国芯片设计公司，2019 年成立，以自研 BILI 系列芯片和 BIRENSUPA 软件平台为基础，开发通用图形处理器（GPGPU）芯片与智能计算解决方案，覆盖从云端到边缘的人工智能训练与推理。

T5 是 Google 的 Transformer 语言模型系列，把所有语言任务统一成「文本输入、文本输出」。其 110 亿参数版本在多项基准上取得当时最好成绩，代码、预训练模型与 C4 数据集均公开。

MuZero 是 DeepMind 提出的强化学习算法，它自己学出一个环境模型，并在该模型中做规划，在不被告知规则的情况下掌握了 Atari、围棋、国际象棋和将棋。

摩尔线程是 2020 年成立的国产 GPU 公司，创始人张建中曾任英伟达中国区总经理。它以 MUSA 架构提供 AI 训练推理卡、服务器、集群与显卡，2025 年在科创板上市，收入快速增长但仍在亏损。

深脉分数（DVFFR）是一套用深度学习分析冠状动脉 CT 血管造影、计算血流储备的软件，用来判断狭窄是否会引起心肌缺血，已在中国、欧盟和美国取得医疗器械批准。

2020 年由 Clark、Luong、Le 与 Manning 提出的预训练方法：让模型判断哪些词被替换过，而不是填补被遮住的词，用更少的算力达到与大模型相当的效果。

NVIDIA DGX A100 是 NVIDIA 第三代 DGX 系统，2020 年 5 月 14 日发布，内置八块 A100 GPU，AI 性能标称 5 petaflops，最多可切分为 56 个实例。

扩散模型（diffusion models）学习逆转逐步加噪的过程，从噪声出发逐步去噪以生成图像。潜在扩散（latent diffusion）是 Stable Diffusion 的基础。

2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。

2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。

AlphaFold2 是 DeepMind 于 2020 年公布的蛋白质结构预测系统，在多数情况下达到与实验结构相当的精度；相关领域的工作获得 2024 年诺贝尔化学奖的一半奖项。

寒武纪第三代云端AI芯片，2021年发布：7 nm芯粒方案封装两颗计算裸片，INT8算力256 TOPS，支持LPDDR5内存与多芯互联，定位为具性价比的推理产品。

状态空间模型把序列表示成一个随输入逐步演化的隐藏状态。S4 在 2021 年把它带入深度学习，Mamba 让参数随输入变化，从而在长序列上以线性时间建模。

OpenAI 于 2021 年发布的图像-文本模型，用约 4 亿对图文数据训练，靠把图像与文字提示逐一比对来完成分类，不需要针对具体任务的训练。

DALL·E 是 OpenAI 于 2021 年 1 月 5 日公布的文本生成图像模型，用 120 亿参数和 2.5 亿对图文数据训练，按文字描述逐个图像词元生成图片。

昆仑芯是从百度分拆出来的AI芯片公司，2021年4月独立，延续百度的昆仑芯片产品线，为数据中心的人工智能计算设计处理器，是国内出货量居前的AI芯片供应商之一。

LaMDA 是 Google 在 2021 年公布的一系列对话语言模型，2022 年的论文详述了它在安全性与事实依据方面的做法，后来其轻量版驱动了 Bard。

Triton 是 OpenAI 开源的、语法接近 Python 的 GPU 编程语言与编译器。没有 CUDA 经验的研究者也能用它写出高效的 GPU 内核，性能多数情况下接近专家手写的水平。

文心 ERNIE 3.0 是 2021 年公布的大规模预训练语言模型，参数量 100 亿，把纯文本与大规模知识图谱一起用于训练，并融合自回归与自编码两种网络，让同一个模型既能做语言理解也能做生成。

AMD 的数据中心 GPU 加速器，于 2021 年 11 月 8 日发布，基于 CDNA 2 架构，拥有 220 个计算单元和 128 GB HBM2e 显存，双精度算力突出，同时支持低精度 AI 格式。

英伟达 A800 是一款数据中心 GPU，2022 年投产，作为面向中国客户的 A100 替代方案，芯片间数据传输速率有所降低，以满足美国出口管制门槛。

2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。

PaLM 是 Google Research 于 2022 年 4 月发布的 5400 亿参数语言模型，在 6144 块 TPU v4 上训练，多项基准成绩优于此前模型。

壁仞于 2022 年 8 月发布的通用 GPU，双晶粒封装、7 nm 工艺、770 亿晶体管，厂商称其单芯片算力达到 PFLOPS 级。

Whisper 是 OpenAI 开源的语音识别系统，2022 年 9 月发布，训练数据达 68 万小时，可转写多语言语音并翻译成英文。

2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。

GraphCast 是一个基于图神经网络的全球天气模型，用四十年的再分析资料训练，能在不到一分钟内给出 0.25 度分辨率、未来 10 天的全球预报，并在多数检验指标上超过当时最准确的业务确定性预报系统。

英伟达为中国市场专门设计的数据中心 GPU，目的是在美国出口管制下继续对华销售。它的核心数与性能低于 H100，但在 2025 年 4 月的许可证要求之前，是中国买方可合法买到的最先进英伟达芯片。

思元590是寒武纪2023年发布的第四代云端AI芯片，采用7纳米工艺，训练与推理通用，面向千亿参数级模型，也是公司第五代MLUarch微架构的代表产品。

Skild AI 是一家 2023 年成立的机器人公司，做的是通用机器人基础模型，希望同一个「大脑」能装进形态各异的机器人身体，完成操作、行走、导航等任务。

华为昇腾 910B 是 2023 年量产的 AI 芯片，FP16 算力 320 TFLOPS，配 32 GB HBM2e 显存、1.6 TB/s 带宽，310 W 功耗，采用 7 纳米国产工艺。

Segment Anything 模型（SAM）是 Meta AI 于 2023 年 4 月发布的可提示图像分割模型。给它一个点、框或掩码，它就能圈出对应的物体。

PaLM 2 是 Google 于 2023 年 5 月 10 日发布的第二代 Pathways 语言模型，分为四个规模，被用于包括 Bard 在内的 25 个以上 Google 产品。

盘古气象大模型是用三维深度网络做全球中期天气预报的模型，论文于2023年发表在《自然》；在再分析数据上，它在所有测试变量上的确定性预报都强于欧洲中期天气预报中心的业务系统。

FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。

Mistral AI 的第一个模型：2023 年 9 月以 Apache 2.0 许可发布的 73 亿参数语言模型，主打用小体量对标大得多的模型。

Grok-1 是 xAI 的首个大语言模型，2023 年 11 月 3 日作为 Grok 聊天助手的引擎公布，其 3140 亿参数的权重于 2024 年 3 月开放。

2023 年发表于《自然》的一篇论文，报告了一套用于材料发现的规模化深度学习方案：预测出 220 万个位于凸包之下的结构，并把稳定性预测的成功率从约 50% 提升到 80%。

Google TPU v5p 是 2023 年推出的 TPU 世代，规格列出每颗芯片 459 TFLOPS 的 BF16/FP8 峰值算力、95 GiB HBM 和每 pod 8,960 颗芯片。

MLX 是苹果机器学习研究团队 2023 年 12 月开源的机器学习框架，主要面向 Apple silicon。它仿照 NumPy 提供 Python 接口，并针对统一内存架构设计，让 CPU 与 GPU 共用同一份数据。

FunSearch 是一种把预训练大语言模型放进进化循环、去搜索「解题程序」而不是「答案」的方法，在 cap set 问题与在线装箱问题上给出了超越已知基线的新结果。

昆仑芯 P800 是昆仑芯第三代 AI 加速卡，2024 年推出，基于自研 XPU-P 架构，被用于万卡级训练集群和多个行业客户的部署中。

英特尔 Gaudi 3 是 2024 年推出的 AI 加速器，由两颗 5 纳米计算芯片组成，配 128 GB HBM2e 显存，BF16 与 FP8 矩阵算力均为 1,835 TFLOPS，OAM 模块上还集成了 200GbE 网络端口。

Gemma 是 Google DeepMind 于 2024 年 2 月发布的轻量级开放模型系列，有 2B 和 7B 两个规模，技术与 Gemini 同源，并按 Google 的使用条款开放商用。

Stable Diffusion 3 由 Stability AI 于2024年2月22日预览发布，是一组参数从8亿到80亿不等的模型，结合了扩散 Transformer 与流匹配（flow matching）。

Meta 自研 AI 芯片 MTIA 的第二代，2024 年 4 月 10 日公布，采用台积电 5 纳米工艺，专门服务 Meta 自家的排序与推荐模型。

Llama 3 是 Meta 于 2024 年 4 月 18 日发布的开放模型系列，有 80 亿和 700 亿参数两种规格。它在超过 15 万亿个公开来源的词元上完成预训练。

Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。

OpenVLA 是一个 70 亿参数的开源视觉-语言-动作模型，在 97 万条真实机器人演示上训练，权重、代码与微调工具一并公开，让其他团队能在自己的机器人上微调和部署。

FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。

SAM 2 是 Meta FAIR 提出的基础模型，用点、框或掩码等提示即可在图像和视频中分割目标，论文同时发布了大规模视频分割数据集与训练代码。

Google TPU v6e（又称 Trillium）是 Google Cloud 的 AI 加速芯片，公布了每芯片 BF16/FP8 算力、HBM 内存与 Pod 级互连规格。

深算三号是海光于 2025 年上市的 GPGPU 架构深度计算处理器，采用 7 纳米芯粒封装，HBM 带宽 1.8 TB/s，并配有类 CUDA 的软件工具链。

摩尔线程的旗舰训推一体 GPU 智算卡，基于 PH100 芯片和「平湖」架构，稠密 AI 算力 1000 TFLOPS、显存 80 GB，是公司 2025 年的主要出货产品。

这篇论文用 1000 道精选题目微调 Qwen2.5-32B，再用一种叫「预算强制」的简单方法控制模型的思考长度，在竞赛数学上最多领先 o1-preview 27%，并开源了模型、数据与代码。

Helix 是 Figure 2025 年 2 月发布的人形机器人视觉-语言-动作模型，分两个速度层，用约 500 小时遥操作数据训练，全部在本机 GPU 运行。

π0.5 是 Physical Intelligence 于 2025 年 4 月发布的视觉-语言-动作模型，主打开放环境泛化，通过混合多种异构数据共同训练，能让移动机器人整理从未见过的房间。

Falcon-H1 是 Falcon 系列的一组开放权重语言模型，把 Transformer 注意力与状态空间模型并行组合，参数规模从 0.5B 到 34B，权重以 Falcon-LLM Licence 发布。

2025 年的一篇论文提出「绝对零」范式：同一个模型自己出题、自己解题，由代码执行器统一判定对错，不使用任何外部数据，就在编程与数学推理上达到总体最佳水平。

Aurora 是一个面向地球系统的基础模型，用超过 100 万小时的地球物理数据训练，在天气、空气质量、海浪和热带气旋路径预报上优于业务预报，计算成本低几个数量级。

华为昇腾 970 是华为 2025 年 9 月公布的路线图上最后一颗 AI 芯片，计划 2028 年第四季度上市；按公布的目标，它的 FP8、FP4 算力约为昇腾 960 的两倍，互联带宽和内存带宽也大幅提高。

昇腾 960 是华为路线图中的 AI 芯片，计划 2027 年第四季度上市，宣称算力、内存容量与带宽、互联端口均为昇腾 950 的两倍，并支持自有的 HiF4 4 位格式。

寒武纪的旗舰加速芯片思元690于2026年初量产，采用双裸片封装，FP16算力超过700 TFLOPS，配备196 GB HBM3内存，面向超大规模训练任务。

真武 810E 是阿里巴巴旗下平头哥自研的 AI 芯片，2026 年 1 月上线官网，配备 96 GB 高带宽内存，面向训练、推理与自动驾驶，已在阿里云多个万卡集群部署。

Jakob Uszkoreit 是《Attention Is All You Need》的八位作者之一，也是 Inceptive 的创始人；该公司致力于用人工智能设计生物分子。[^1][^4]

仿真到现实迁移指先在仿真中训练机器人策略，再迁移到真实机器人，用合成数据补充昂贵的人工演示数据。

损失函数把预测的代价折算成一个数，训练模型就是让这个数尽量小。选哪种损失函数，也就决定了模型会为什么样的错误付出代价。

过拟合指模型对训练数据拟合得过于贴合，因而在新数据上表现变差。它与欠拟合共同构成偏差—方差权衡的两端，通常通过比较训练与验证表现来发现。

正则化是把问题的答案变得更简单的做法：在目标函数中加入惩罚项，使不适定问题可解，或防止模型过拟合。它是机器学习中最基础的技术之一。

激活函数把节点的输入与权重映射为输出，为神经网络提供非线性。sigmoid、tanh、ReLU 塑造了早期深度学习，GELU 如今是 transformer 的主流选择。

Transformers是Hugging Face的开源Python库，通过统一的接口提供预训练的Transformer模型。其论文于2019年10月9日发布在arXiv上。

克里斯·奥拉（Chris Olah）是加拿大机器学习研究员、Anthropic 联合创始人，研究神经网络的机制可解释性。

具身智能（Embodied AI）指通过与环境的互动来学习的智能体，而不只依赖从互联网上收集的图像、视频或文本数据集；模拟器则是训练和评测这类智能体的虚拟试验台。

机制可解释性通过寻找产生行为的内部计算与特征来解释模型，而不是只从外部测试输入输出。关于叠加与稀疏自编码器的研究，展示了少量神经元如何容纳大量特征。

奖励黑客指优化一个不完美的代理奖励函数，结果在真正的奖励函数下表现反而变差。它是目标写偏、而非优化器出错时的典型失效模式。

键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。

长上下文指模型一次能接收并加以利用的大量输入，如今可达数百万词元；但窗口大不等于用得好，能否在长输入中准确定位信息是另一回事。

上下文窗口（context window）是模型生成回答时能够参照的全部文本，以 token 计量，回答本身也计入其中。窗口的大小，以及模型能否均匀地用上窗口内容，共同决定了它实际能做什么。

AWS Trainium 是亚马逊云科技（AWS）为深度学习训练专门设计的芯片，通过 EC2 Trn1 实例提供，AWS 称其训练成本比同类实例最多低 50%。

AWS Inferentia2 是亚马逊云科技为推理打造的第二代自研芯片，单颗芯片带 32 GB 高带宽内存、最高 190 TFLOPS 的 FP16 算力，一台 EC2 Inf2 实例最多可装 12 颗。

Google TPU v5e 是 2023 年推出的机器学习加速芯片，单颗芯片含 1 个 TensorCore，bfloat16 峰值算力 197 TFLOP，可组成 256 颗芯片的 Pod，兼顾训练与推理。

GH200 是英伟达的超级芯片，将 72 核 Arm CPU 与 Hopper GPU 经 NVLink-C2C 装进同一封装，搭配 HBM 与最多 480 GB CPU 内存。

SK 海力士是总部位于韩国的 DRAM 与 NAND 闪存供应商，也是发布全球首款 HBM、并声称完成全部六代 HBM 开发与出货的公司。

安德鲁·巴托是计算机科学家，推动强化学习成为一般性研究框架，并与理查德·萨顿共同获得2024年ACM图灵奖。

理查德·萨顿是阿尔伯塔大学的计算机科学家，以强化学习研究闻名；他与 Andrew Barto 合著了该领域的标准教材，并共同获得 2024 年 ACM 图灵奖。

百度研究院是百度旗下的研究机构，核心是2013年成立的深度学习研究院（IDL），在北京和硅谷设有实验室；2014年吴恩达出任首席科学家，统管整个研究院。

DeepMind 计算机科学家，第一篇深度 Q 网络（DQN）论文的作者之一；后任 Google DeepMind 首席技术官与 Google 首席 AI 架构师，主持多代 Gemini 模型的发布。

德克·金马（Durk Kingma）是机器学习研究者，变分自编码器与 Adam 优化算法的共同作者，先后在 OpenAI、Google Brain / DeepMind 和 Anthropic 从事研究。

伊恩·古德费洛是 2014 年提出生成对抗网络的论文第一作者，该方法让生成器与判别器互相对抗训练。他先后任职于 OpenAI、Google Brain 和 Apple。

黄仁勋（Jensen Huang）是英伟达（NVIDIA）的创始人之一，自公司 1993 年成立起担任总裁、首席执行官和董事会成员。英伟达把图形处理器（GPU）的发明和加速计算的开拓归于这一时期。

Quoc Le 是机器学习研究者，2013 年在斯坦福大学获得博士学位，是序列到序列学习、神经架构搜索和 EfficientNet 等论文的共同作者；序列到序列论文获 NeurIPS 2024 时间检验奖。

Niki Parmar 是《Attention Is All You Need》的八位作者之一，这篇 2017 年的论文提出了 Transformer 架构，Google 对这项工作的公开描述中也提到了她。

Llion Jones 是 2017 年论文《Attention Is All You Need》的八位作者之一，也是 Sakana AI 的联合创始人兼首席技术官。

Polosukhin 是 Transformer 论文作者之一、NEAR Protocol 联合创始人，2024 年署名显示他为 NEAR Foundation CEO。[^1][^3][^6]

Christopher Manning 是斯坦福大学语言学与计算机科学教授、SAIL 前主任，曾任 ACL 主席，并获多项 Fellow 称号与学院成员资格。

Pieter Abbeel 是加州大学伯克利分校教授，主管伯克利机器人学习实验室，并共同主管 BAIR；曾获 ACM 计算奖和 IEEE Fellow 等荣誉。

诺姆·沙泽尔（Noam Shazeer）是《Attention Is All You Need》的第二作者。他2024年回到Google，2026年宣布加入OpenAI。

阿希什·瓦斯瓦尼（Ashish Vaswani）是论文《Attention Is All You Need》的第一作者，该论文提出了Transformer架构。他还共同创办了Essential AI。

何恺明是计算机视觉与深度学习研究者，2015 年 ResNet 论文的第一作者，也是残差连接这一通用结构的提出者之一，现为麻省理工学院终身教职副教授。

艾丹·戈麦斯是加拿大计算机科学家，Cohere 的联合创始人兼首席执行官，也是 2017 年提出 Transformer 架构的论文的八位作者之一。

谢尔盖·莱文（Sergey Levine）是研究机器人如何从数据中学习控制行为的计算机科学家。他是加州大学伯克利分校教授，也是 Physical Intelligence 的联合创始人。

伦敦大学学院（UCL）是伦敦市中心的公立研究型大学。辛顿曾任其 Gatsby 计算神经科学研究所创始主任，哈萨比斯曾在该所做博士后，后来联合创办 DeepMind。

纽约大学是1831年获得特许状、位于纽约市格林威治村的私立研究型大学，其库朗研究所与数据科学中心使它成为机器学习研究与数据科学人才培养的重要地点。

康奈尔大学是位于纽约州伊萨卡的私立研究型大学，创办于1865年。它也是弗兰克·罗森布拉特求学和工作的地方，知觉机这一早期学习机器、第一个神经网络正是在这里诞生。

位于慕尼黑的公立技术大学，1868年创办。Sepp Hochreiter 1991年的学位论文在这里得出最早的 LSTM 结果，Jürgen Schmidhuber 也在此求学与任教。

蒙特利尔大学是位于魁北克省蒙特利尔的一所法语公立研究型大学，1878 年建校、1919 年获自治权，今天是深度学习的重镇，也是 Yoshua Bengio 与 Mila 研究所的所在地。

K 均值聚类把 n 个观测分成 k 组：反复将每个点归到最近的中心点，再用各组的均值更新中心点。方法简单、能扩展到大数据，但 k 需要事先指定。

位于加州拉霍亚的公立研究型大学，1960年建校。1980年代这里的学者推动了联结主义神经网络研究，2017年后学校又陆续设立数据科学研究所与相关学院。

汤晓鸥（1968—2023）是香港中文大学信息工程学系教授、计算机视觉研究者，也是中国知名人工智能公司商汤科技的联合创始人兼董事长。

一种通过重采样和划分数据来估计模型泛化能力的验证方法：把样本切成若干折，轮流留一折作验证、其余作训练，再把多次运行的结果平均。

西班牙计算机科学家，1983 年出生，共同提出序列到序列学习，领导 DeepMind 的 AlphaStar 研究小组，后任 Gemini 技术负责人，2026 年离职创办 Discovery Loop。

瑞士人工智能研究机构，1988 年由达勒·莫勒基金会创办，现为 USI 与 SUPSI 的联合研究所，以长短期记忆（LSTM）等神经网络研究闻名。

加拿大机器学习研究者，曾是 Google Brain 多伦多办公室的早期研究员，2019年在多伦多共同创办自然语言处理公司 Cohere，同时是独立摇滚乐队 Good Kid 的主唱。

微软亚洲研究院是微软在亚太地区的研究机构，1998年11月在北京成立。它研究人工智能、人机交互等方向，ResNet 论文的第一作者也曾在这里工作。

图神经网络是为图结构数据设计的一类神经网络，节点之间通过传递消息更新各自的表示。自2009年这一模型被正式提出以来，它已成为图上学习的常用方法。

一种正则化方法：训练时随机把部分神经元的输入或输出置零，阻止神经元之间形成对训练数据的复杂共适应，从而减轻过拟合。

DNNresearch 公司是 2012 年由多伦多大学教授 Geoffrey Hinton 与两名研究生创立的初创公司，研究深度神经网络，后被 Google 收购。

华为诺亚方舟实验室是华为的人工智能研究中心，2012 年成立，隶属华为 2012 实验室，站点分布在中国内地、香港、欧洲和加拿大，研究覆盖计算机视觉、自然语言处理、搜索推荐与决策推理等方向。

2013 年的论文提出 maxout 单元：输出取一组输入中的最大值，专为配合 dropout 设计，并在四个图像分类基准上取得当时最好的结果。

Graves、Mohamed 与 Hinton 于 2013 年发表的论文，考察用深度循环神经网络做语音识别，主张借助连接时序分类等方法实现端到端的序列训练。

NVIDIA Tesla K80 是 2014 年 11 月发布的双 GPU 数据中心加速卡，在一块 300 W 的板卡上集成两颗 GK210、24 GB 显存，单精度峰值最高 8.74 万亿次浮点运算每秒。

2014年的一篇论文，由Mirza与Osindero提出条件生成对抗网络：把条件数据同时输入生成器和判别器，从而按类别标签生成MNIST数字等样本。

2015 年的一篇 arXiv 论文，由 Kelvin Xu、Jimmy Ba、Ryan Kiros、Kyunghyun Cho 等人提出带视觉注意力的图像描述模型，能在生成每个词时显示自己在看图像的哪个位置。

Apache MXNet 是开源深度学习库，同时提供符号式与命令式写法，可运行在手机到 GPU 集群上，并有 8 种语言接口。论文由陈天奇、李沐等人在 2015 年 12 月发布。

中国医疗人工智能公司，2016 年成立，专注把大数据与人工智能用于冠心病的诊断和治疗，自称持有中国首张人工智能医疗器械三类证。

向量研究所是2017年在多伦多成立的非营利人工智能研究机构，杰弗里·辛顿（Geoffrey Hinton）是其创始科学家之一。

组归一化是 Yuxin Wu 与 Kaiming He 在 2018 年提出的方法：把通道分组后组内计算均值和方差，不依赖批大小，以缓解批归一化在小批量下的问题。

NVIDIA DGX-2 是 2018 年 3 月发布的一台服务器，把 16 块 Tesla V100 GPU 与新的 NVSwitch 互联装进一个机箱，NVIDIA 称它是首台达到两千万亿次浮点运算的单一服务器。

文心 ERNIE 2.0 是百度提出的预训练语言模型框架，以持续多任务学习的方式不断叠加预训练任务，并在中英文多项基准上报告了超过 BERT 与 XLNet 的成绩。

Cerebras Systems 于 2019 年发布的 AI 处理器，把整片硅晶圆当作一颗芯片，容纳超过 1.2 万亿个晶体管和 40 万个核心；该系列已发展至 2024 年的 WSE-3。

Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。

MuZero 是 DeepMind 的强化学习算法，将树搜索与学习到的模型结合，在未被告知环境规则的情况下，于 Atari、围棋、国际象棋和将棋上达到超人类水平。

Meena 是 Google 的开放域聊天机器人，26 亿参数，端到端训练在过滤后的社交媒体对话上。论文提出 SSA 人工评测指标，并把下一词困惑度与人类判定的对话质量联系起来。这项工作后来更名为 LaMDA。

昇思（MindSpore）是华为开源的 AI 计算框架，于 2020 年 3 月宣布开源，原生适配端、边、云全场景，与昇腾处理器协同优化，并配有训练可视化与模型安全工具。

NVIDIA 与微软 2021 年 10 月联合发布的 5300 亿参数语言模型，为当时最大的单体 Transformer 语言模型。

Gopher 是 DeepMind 于 2021 年 12 月公布的 2800 亿参数大语言模型，同时被用来研究规模究竟能带来什么、不能带来什么。

AlphaCode 是 DeepMind 面向竞赛编程的代码生成系统，2022 年公布，在训练数据之后的 Codeforces 比赛上估计排名接近中位水平。

OPT-175B 是 Meta AI 于 2022 年 5 月公布的 1750 亿参数语言模型。Meta 称，它是同等规模中首个连同预训练模型与训练、使用代码一起发布的模型。

推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。

Stable LM 是 Stability AI 于 2023 年 4 月发布的开源语言模型系列，首批为 30 亿和 70 亿参数的 alpha 版；基础模型允许商用，指令微调版本仅限研究。

MTIA 第一代是 Meta 自研的第一代 AI 推理加速器，采用台积电 7 纳米制程，配备 128 MB 片上内存，面向深度学习推荐模型。

RT-2 是 Google DeepMind 2023 年 7 月 28 日公布的视觉-语言-动作模型，把图像和文字指令转成机器人动作，陌生场景成功率从 32% 升至 62%。

GraphCast 是 Google DeepMind 的机器学习天气预报模型，能在单台 TPU 上不到一分钟生成 10 天全球预报，并在多数测试变量上优于 ECMWF 的 HRES。

GNoME 是 Google DeepMind 于 2023 年 11 月 29 日公布的深度学习工具，用于预测新型无机晶体；它给出 220 万个候选晶体，其中 38 万个被预测为最稳定。

DeepSeekMoE 是 DeepSeek 在 2024 年 1 月发布的混合专家架构，通过细粒度专家分割与共享专家隔离，让每个专家掌握更聚焦的知识。其 16B 开源模型以远低于同类模型的计算量取得了相当的表现。

Octo 是一个开源的通用机器人策略，用 80 万条机器人轨迹训练的基于 Transformer 的扩散模型，可以直接控制多种机器人，并能高效微调到新的机器人配置。

Stability AI 于 2024 年 10 月推出的文生图模型系列：81 亿参数的 Large、4 步出图的 Large Turbo 和 25 亿参数的 Medium，按社区许可发布。

Skild Brain 是 Skild AI 开发的通用机器人基础模型，在包含 10 万台不同机器人的虚拟环境中训练，可装配到现有机器人硬件上，而不是为单一任务专门设计。

Qwen3-Next 是阿里巴巴通义千问团队2025年9月以 Apache 2.0 许可证开源的模型，总参数 800 亿、每个词元仅激活 30 亿，其混合架构后来被用于 Qwen3.5。

Ai2 于 2026 年 3 月 5 日发布的全开放 7B 模型，把 Transformer 注意力与门控 DeltaNet 线性循环层混合堆叠，以少 49% 的训练 token 达到 Olmo 3 7B 的 MMLU 准确率。

英特尔 Gaudi 2 是一块面向数据中心的 AI 加速器，配备 96 GB HBM2e 显存、432 TFLOPS 的 BF16 算力和 24 个张量处理器核心，专门承担大型神经网络里的矩阵运算。

卡罗尔·豪斯曼是研究机器人学习与具身智能的机器人学家，曾任 Google Brain 与 Google DeepMind 高级研究科学家，并共同创办 Physical Intelligence。

AMD Instinct MI100 是一款基于 AMD 第一代 CDNA 架构的 GPU 加速器，配备 32 GB HBM2 显存，并给出双精度、单精度和半精度计算的峰值吞吐指标。

甘利俊一（1936 年生）是日本数理工程学家，创立信息几何学，并为机器学习与神经网络奠定理论基础，获 2025 年京都奖先进技术领域奖项。

Cerebras 的第二代晶圆级芯片，被称为当时最大的 AI 处理器：采用 7 纳米工艺，在单块晶圆上集成 2.6 万亿个晶体管、85 万个核心和 40 GB 片上内存。

自编码器是一种无监督神经网络，它把输入压缩成低维编码再重建回来，学到的隐表示可用于降维、去噪和异常检测等任务。

AWS Inferentia 是亚马逊云科技（AWS）自研的一款芯片，专门用于运行已经训练好的机器学习模型，用户通过 EC2 Inf1 实例使用。它的目标是在推理任务上比通用实例更快、更便宜。

雅各布·德夫林（Jacob Devlin）是BERT论文的第一作者，BERT是Google于2018年推出的语言模型，能结合词语两侧的上下文理解词义。

英伟达 L40S 是基于 Ada Lovelace 架构的数据中心 GPU，48 GB ECC 显存兼顾 AI 与图形负载，采用 PCIe Gen4 被动散热设计，不支持 NVLink 与 MIG。

NVIDIA Tesla T4 是采用 Turing 架构、功耗 70 瓦的单槽 GPU，面向 AI 推理，把张量核心与专用视频转码引擎装进一张可以直接插进普通服务器的卡里。

NVIDIA A10 是一款基于 Ampere 架构的数据中心 GPU，把图形、视频与 AI 推理放进一张 24 GB 显存的单槽 PCIe 卡，面向主流企业服务器。

托马斯·沃尔夫是 Hugging Face 的联合创始人兼首席科学官，也是 2019 年那篇向研究者和实践者介绍该公司开源 Transformers 库的论文的第一作者。

谢恩·莱格（Shane Legg）是新西兰人工智能研究者、DeepMind 联合创始人之一，参与推广了「通用人工智能」这一说法，并负责该公司的人工智能安全工作。

孙剑是计算机视觉科学家，在微软工作13年，是 ResNet 论文的作者之一，后出任旷视首席科学家。2022年6月，他因病突然去世，享年45岁。

决策树学习用分类树或回归树作为预测模型，通过反复划分数据把样本分到越来越纯的组里。它给出的是一组可以直接读出来的决策规则，是常用的监督学习方法，但容易受训练数据扰动影响，也容易过拟合。

特征工程是机器学习和统计建模中的预处理环节，把原始数据加工成模型更好用的输入，包括构造、筛选、变换特征以及处理缺失值和降维。

NVIDIA Tesla P40 是 2016 年 9 月数据表所载的服务器 GPU 加速卡，基于 Pascal 架构，专用于深度学习推理，具备 24 GB 显存和 47 TOPS 的 INT8 性能。

NVIDIA 基于 Ampere 架构打造的数据中心 GPU，面向 AI 推理和主流企业级计算，配备 24 GB HBM2 显存，功耗上限 165 W，最多可切分为 4 个 MIG 实例。