研究史

数学家诺伯特·维纳被普遍视为控制论的创立者。1948年出版的《控制论》把反馈形式化，将动物与机器中的控制与通信视为同一个问题。

艾伦·图灵（Alan Turing，1912–1954）是英国数学家，1936年他用抽象机器给“计算”下了定义。1950年他提出“模仿游戏”（即图灵测试），是人工智能的奠基人之一。

美国数学家、电气工程师，1948 年发表《通信的数学理论》，为通信工程奠定了数学基础。

约翰·麦卡锡（John McCarthy，1927–2011）是美国计算机学家。他1955年牵头的提案被认为首创“人工智能”一词，又组织了1956年达特茅斯研讨会，并创造了LISP。

图灵1936年的这篇论文用一台抽象机器定义了「可计算数」，这台机器后来被称为图灵机；论文还证明，不存在能判定任意数学命题是否可证的通用方法。

人工神经网络是由许多简单相连单元组成的计算系统，其行为由连接权重决定。它的源头是1943年的神经元模型，带学习能力的版本则始于1958年罗森布拉特的感知机。

1943年，麦卡洛克与皮茨描述了一个简化的神经元模型，并证明由这种单元组成的网络可以进行逻辑推理，这是大脑模型与计算之间的早期联系。

ENIAC 于 1946 年 2 月 14 日公布，宾夕法尼亚大学称其为第一台通用电子计算机；这台重 30 吨、装有 18000 只电子管的机器用来生产军用射击表。

杰弗里·辛顿（Geoffrey Hinton）是出生于伦敦的计算机科学家，他的神经网络研究是深度学习的核心内容之一，并共享了 2018 年图灵奖和 2024 年诺贝尔物理学奖。

C. E. Shannon 1948年的论文为通信建立了数学框架，以比特度量信息，提出信道容量与熵，并把消息视为从可能集合中选出的对象，而非语义内容。

把信息当作可以度量、编码和传输的量来研究的理论，奠基于香农 1948 年的论文；比特、熵与信道容量都是它给出的概念。

马克·雷伯特（Marc Raibert，1949年出生）是机器人研究者，造出了最早的自我平衡跳跃机器人，创办波士顿动力公司，现任波士顿动力人工智能研究院执行主任。

图灵测试是艾伦·图灵（Alan Turing）在1950年提出的一种替代方案：用一场游戏取代「机器能思考吗」这个问题——如果提问者分辨不出机器的书面回答与人的回答，机器就算通过。

1950年，图灵在《计算机器与智能》中以「模仿游戏」取代了「机器能思考吗」这个他认为过于模糊的问题，即后来的图灵测试，并逐一回应了对机器智能的主要反对意见。

逻辑理论家是 1956 年 Newell、Simon 与 Shaw 完成的程序，被视为第一个自动推理程序，证明了《数学原理》的数十条定理，并引入启发式与推理即搜索等概念。

1958年，弗兰克·罗森布拉特描述了感知机：它的连接强度随训练而改变，从而通过试错学会对刺激分类。它成为可训练神经网络的起点。

LISP 是约翰·麦卡锡 1958 年在麻省理工学院开始设计的编程语言，程序本身即由列表构成。它成为早期人工智能研究常用的语言，并引入了自动垃圾回收。

麦卡锡 1959 年的论文提出「建议接受者」：一个在形式语言中操作句子来解题、推出祈使句便执行相应动作的程序，被视为逻辑式人工智能的早期纲领。

A. L. Samuel 1959 年发表的论文，报告用跳棋进行的机器学习实验：程序只拿到游戏规则和一组符号、权重均未知的参数，在 8 到 10 小时的机器对弈时间里学会下棋，并胜过了写它的人。

Mark I 感知机是感知机算法的第一台硬件实现：康奈尔航空实验室为图像识别建造的定制模拟计算机，以 20×20 光电池作输入，用电位器存可调权重。

杨立昆（Yann LeCun）是法国计算机科学家，以直接从像素中学习图像识别的卷积神经网络闻名，并共享 2018 年 ACM 图灵奖。

尤尼梅特（Unimate）是由德沃尔与恩格尔伯格设计、Unimation 公司制造的工业机械臂，1961 年成为第一台被安装到装配线上的机器人，在通用汽车工厂为压铸机卸料。

Marvin Minsky 1961 年发表于《Proceedings of the IRE》的综述，把启发式编程分为搜索、模式识别、学习、规划与归纳五个领域，并指出机器需要借助归纳建立环境的模型。

DENDRAL 是斯坦福大学 1964 年启动的人工智能项目，用质谱数据和化学知识推断未知有机分子的结构，通常被称为第一个专家系统，后来的 MYCIN、PROSPECTOR 等都源于它。

加拿大计算机科学家，其在序列模型、词嵌入和注意力机制上的工作，为现代语言模型奠定了重要基础。他与杰弗里·辛顿、杨立昆共享2018年ACM A.M.图灵奖。

Shakey 是 1966 至 1972 年在 SRI International 研制的移动机器人，被视为第一台能感知并推理环境的 AI 机器人，其项目产出 A* 与 STRIPS。

《Perceptrons》是 Marvin Minsky 与 Seymour Papert 于 1969 年出版的著作，用数学证明划定单层感知机的计算边界，长期被认为影响了 20 世纪 70 年代神经网络研究的走向。

AI 寒冬指人工智能研究经费与关注度大幅收缩的时期；该领域经历过多轮炒作与失望的循环，其中两次大收缩通常被定在 1974 至 1980 年和 1987 至 2000 年。

John Hopfield 于 1982 年提出的循环神经网络，把模式存为能量函数的极小值，能从残缺或失真的输入回忆出完整模式，并让统计物理成为研究神经网络的常用工具。

1982 年约翰·霍普菲尔德（John J. Hopfield）的论文提出，大量简单神经元式单元组成的网络能集体存储与取回记忆。该模型后来被称为霍普菲尔德网络，相关工作获 2024 年诺贝尔物理学奖肯定。

John J. Hopfield 于 1982 年发表的论文，主张有用的计算能力可以作为大量简单等价单元的集体性质涌现出来，并给出一个模型：其集体行为带来内容寻址记忆、泛化与纠错等能力。

达里奥·阿莫代伊（Dario Amodei）是Anthropic的联合创始人兼CEO。他此前在OpenAI担任研究副总裁，并参与了GPT-2和GPT-3等研究。

自动驾驶是由计算机系统而非人来操作道路车辆。它的六级自动化量表、两条主要技术路线，以及从1980年代起延续至今的一系列研究车辆，构成了今天讨论这一领域的框架。

以色列裔加拿大计算机科学家，1986 年生；参与构建 AlexNet，共同创办 OpenAI 并任首席科学家，2024 年创办 Safe Superintelligence Inc.

《并行分布式处理》是 Rumelhart、McClelland 与 PDP 研究组由 MIT Press 出版的两卷本著作，主张以大量简单单元的并行互联描述心智，是联结主义第二次浪潮的代表文献。

反向传播（backpropagation）是多层神经网络的学习方法：把输出误差逐层传回，再用梯度下降调整权重。1986年一篇《Nature》论文使其广为人知，至今仍是标准训练方法。

1986年，鲁梅尔哈特、辛顿和威廉姆斯在《Nature》上发表论文，证明反向传播能让多层网络中的隐藏单元学会任务的有用内部特征。如今，这一方法是大多数神经网络的标准做法。

模仿学习通过从专家示范中做监督学习来训练智能体完成任务，而不是靠反复试错。最基本的形式是行为克隆，最主要的弱点是分布偏移。

ALVINN 是 1988 年卡内基梅隆大学开发的神经网络自动驾驶系统，通过观察人类驾驶员学会操控 Navlab 厢式车，是端到端学习驾驶的早期示范。

理查德·萨顿1988年的论文提出时序差分学习：用相邻两次预测之差分配信用的增量式预测方法，比传统方法更省内存、预测更准。

卷积神经网络让同一组小型图案探测器扫过整张图像，因此无论特征出现在哪里都能被找到。它在1989年用反向传播训练，1998年以LeNet-5的形式成熟，如今已是计算机视觉的标准方法。

Rodney Brooks 在 1990 年的这篇论文中主张从底层出发造人工智能：把与环境持续进行的物理互动当作设计智能系统的主要约束，而不是沿用此前约三十年主导领域的抽象符号操作。

这篇 1992 年的论文由 Boser、Guyon 和 Vapnik 提出一种训练算法，最大化训练样本与决策边界之间的间隔，并在光学字符识别实验中检验其泛化表现。[^1]

本田 P2 于 1996 年 12 月公布，本田称其为世界首台双足人形行走机器人：身高 1,820 毫米、重 210 千克，可无线行走、上下楼梯和推车，并在此后引出了 ASIMO。

IBM 研制的国际象棋计算机，1997 年 5 月在标准比赛时限下击败在位世界冠军，成为第一台做到这一点的计算机系统。

美国宇航局的小型火星车，1997年7月4日随火星探路者号着陆火星，是太阳系中第一辆在另一颗行星上行驶的轮式车辆。

这篇 1997 年的论文提出了带门控的记忆单元和「恒定误差传送带」，使循环网络能跨越很长的时间间隔学习，塑造了 Transformer 出现前的许多模型。

Sergey Brin 与 Lawrence Page 于 1998 年发表的会议论文，提出按指向网页的链接数量与质量排序的 PageRank 算法，并据此搭建了 Google 搜索引擎。

AIBO ERS-110 是索尼 1999 年 5 月发布的第一代机器狗，四条腿能自主行走，会在与人相处中学习并表达情绪，被视为娱乐机器人这一品类的开端。

ASIMO 是本田于 2000 年 11 月 20 日在东京发布的人形机器人，身高 1,200 毫米、能双足行走，此后各代不断提速并学会识别人手势、奔跑和倒水，最后一场定期演示在 2022 年举行。

一个生成式概率模型，把每篇文档表示为对一组主题的有限混合，用变分近似推断与 EM 算法拟合，并在文档建模、文本分类和协同过滤上做了评测。

Stanley 是斯坦福大学团队改装的无人驾驶车辆，2005 年在 DARPA 沙漠挑战赛中以 6 小时 53 分完成 132 英里赛程，赢得 200 万美元奖金。

2006 年，Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络，再做整体微调；所得带三个隐藏层的模型既能生成手写数字，分类效果也很好。

Siri 公司是 SRI International 于 2007 年分拆出的创业公司，把数十年人工智能研究（尤其是 CALO 项目）转成面向消费者的虚拟个人助理；苹果 2010 年将其收购。

2009 年 ICML 论文，作者为 Rajat Raina、Anand Madhavan 与 Andrew Y. Ng，用图形处理器训练深度信念网络与稀疏编码模型，速度比多核 CPU 快数十倍。

CIFAR-10 是一个用于图像分类研究的小图数据集：6 万张 32×32 彩色图像分属 10 个互斥类别，5 万张训练、1 万张测试，由 Krizhevsky、Nair 和 Hinton 整理。

2009年的这篇论文提出了ImageNet，一个规模大、标注清晰、按WordNet层级组织的图像数据库，后来成为ILSVRC竞赛的基础。

这篇2010年的论文分析深度前馈网络为何难以训练：S 型激活函数在随机初始化下容易饱和，各层雅可比矩阵的奇异值远离1时训练更难；作者据此提出一种收敛明显更快的新初始化方案。

总部位于伦敦的人工智能研究机构，2023 年由 DeepMind 与谷歌研究部门的 Brain 团队合并而成，以 AlphaGo、AlphaFold 和 Gemini 系列模型闻名。

这篇论文用逐像素分类的方法，从单幅深度图像直接得到三维关节点位置，不使用时间信息，在消费级硬件上达到每秒 200 帧，获 CVPR 2011 最佳论文。

IBM Watson 是 IBM 研发的问答计算机系统，由 David Ferrucci 领导团队开发；2011 年 2 月它在电视问答节目《Jeopardy!》中击败了该节目历史上最强的两位冠军。

2011 年 Glorot、Bordes 与 Bengio 的论文，报告由整流神经元构成的深度网络性能不逊于 tanh 网络，并且在标注数据充足的纯监督任务上无需无监督预训练即可达到最佳表现。

斯坦福工程学院的免费在线课程「人工智能导论」，2011年10月10日开课，由 Sebastian Thrun 与 Peter Norvig 联合讲授，吸引了来自190多个国家的16万名学生。

2012年的NeurIPS论文提出了AlexNet，这是一个在GPU上训练的大型卷积神经网络，并在ILSVRC-2012竞赛中夺冠。

Atlas 是波士顿动力为 DARPA 研制的类人救灾机器人，2013 年 7 月 11 日首次公开，曾交付给参加 DARPA 机器人挑战赛的队伍，其液压版本于 2024 年 4 月宣布退役。

Meta AI 是 Meta Platforms 的人工智能研究与模型机构，2013 年以 FAIR 之名成立，推出了 PyTorch 以及 Llama、Muse 等模型系列。

注意力机制衡量序列中每个元素相对于其他元素的重要程度并给出权重，使模型能直接读取输入的任意位置。它是 transformer 的核心运算。

生成对抗网络让一个生成器和一个判别器在零和博弈中相互竞争，生成器因此学会模仿训练数据的分布；2014 年由 Ian Goodfellow 等人提出，此后衍生出一系列图像生成架构。

Goodfellow、Bengio 等作者提出生成器与判别器进行对抗训练的生成模型框架。

Bahdanau、Cho 与 Bengio 2014 年的这篇论文让翻译模型在生成每个词时回看整个源句，这一注意力（attention）机制后来成为 Transformer 的基础之一。

这篇 2014 年的论文证明：把大量 3×3 的小卷积核堆到 16–19 个权重层，能提升大规模图像识别；其模型在 ImageNet Challenge 2014 上拿下定位赛道第一、分类赛道第二，并对外公开。

Sutskever、Vinyals 与 Le 2014 年的这篇论文表明，两个 LSTM 可以完成翻译并超过基于短语的基线，确立了后来翻译模型常用的编码器-解码器模式。

2014 年的论文，提出 Inception 架构以及用它搭成的 22 层网络 GoogLeNet，在 2014 年 ImageNet 挑战赛的分类与检测任务上取得最好成绩，top-5 错误率 6.67%。

GloVe 是 2014 年提出的一种词向量方法，通过分解全局词共现矩阵来学习词表示；它与 word2vec 同年出现，成为静态词向量的两种标准做法之一。

Amazon Echo 是 2014 年 11 月推出的圆柱形智能音箱，始终在线，听到「Alexa」后作出回应。它把语音助手从手机带进了普通房间。

Adam 是 Diederik P. Kingma 与 Jimmy Ba 在 2014 年论文中提出的随机优化算法：用梯度一阶矩与二阶矩的滑动估计为每个参数自适应地确定步长，内存开销小、超参数通常无需太多调整。

2015年，LeCun、Bengio 与 Hinton 在《自然》发表综述，说明多个处理层组成的模型如何学习分层数据表示，并梳理语音、图像等领域的成果。

谷歌第一代张量处理单元是为加速数据中心内神经网络推理而自研的专用芯片。它 2015 年上线、2016 年公开，证明专用加速器在性价比上可以胜过 CPU 和 GPU。

残差连接把一个模块的输入直接加到它的输出上，让模块只学需要改变的那一部分。它使很深的网络可以训练，也是今天 Transformer 的标准组件。

2015 年《自然》论文中，Mnih、Silver 等人用同一个深度 Q 网络智能体，仅凭像素和分数就在 49 款 Atari 游戏上达到职业人类测试员水平。

Google 的第二代机器学习系统，2015 年 11 月 9 日以 Apache 2.0 许可开源，接替前代系统 DistBelief。

AlphaGo 是 DeepMind 开发的围棋程序，把深度神经网络与蒙特卡洛树搜索结合起来。2016 年它战胜顶尖职业棋手李世石，比赛吸引大量观众，成为学习型系统能力的一个标志性事件。

2016 年的论文，Zoph 与 Le 用强化学习训练的循环网络自动生成神经网络结构，在 CIFAR-10 上媲美人类最佳设计，在 Penn Treebank 上超过 LSTM。

PyTorch 是 Meta 于 2017 年发布的开源深度学习框架，现由 Linux 基金会旗下的 PyTorch 基金会治理。它既用于研究，也用于训练和运行生产环境中的大模型。

Mask R-CNN 是 2017 年提出的物体实例分割框架，在检测物体的同时为每个实例生成高质量掩码，通过给 Faster R-CNN 增加并行掩码分支实现。

2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。

DeepMind 的 AlphaGo Zero 从随机落子开始，只靠自我对弈学会围棋，训练三天便以 100 比 0 击败此前击败人类冠军的 AlphaGo 版本。相关论文于 2017 年 10 月发表在《自然》。

这是 Matthew E. Peters 等六位作者 2018 年的论文，用预训练的深层双向语言模型内部状态表示词，使向量随语境变化；把它加到已有模型上，在六个自然语言处理任务上提升了成绩。

OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。

BERT 是 Google 的双向语言模型，通过遮盖部分词再还原的方式预训练，微调后在问答和语言理解基准上刷新成绩，并被用于 Google 搜索。

Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。

NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。

Francois Chollet 于 2019 年发表的论文，把智能定义为技能获取效率，并提出抽象与推理语料库（ARC）——一套只依赖核心知识、不需要专门领域知识和语言的网格任务基准。

2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。

2020 年的一篇论文，把预训练的序列到序列模型与一个由神经检索器查询的维基百科稠密向量索引结合起来，在三个开放域问答任务上取得当时最好成绩。

GPT-3 是一个拥有 1750 亿参数的自回归语言模型，相关论文发表于2020年5月。它能在提示词中仅凭少量示例完成新任务，无需梯度更新，最初通过 OpenAI 的 API 提供。

2020 年发布的一个评测基准，用 57 个学科（从初等数学到法律）的题目考察语言模型，结果显示当时最大的模型也远未达到专家水平。

这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。

2021 年，Fedus、Zoph 与 Shazeer 简化了混合专家模型的路由算法，使语言模型在参数量扩展到万亿级别时，每个样本的计算开销仍然保持恒定。

一篇2021年FAccT论文，作者为Bender、Gebru、McMillan-Major和Shmitchell，追问语言模型是否会过大，并就成本、数据、研发目标与替代研究方向提出建议。

LoRA 是一种微调方法：冻结预训练模型的权重，只在各层注入并训练小型低秩矩阵，从而把可训练参数和显存需求降低几个数量级。

2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。

RoseTTAFold 是贝克实验室 2021 年发表的三轨神经网络蛋白质结构预测方法，在 CASP14 上精度接近 AlphaFold2，能仅凭序列预测蛋白质复合物，代码公开并配有公共服务器。

Nature 论文介绍了 AlphaFold 用于蛋白质结构预测的方法、系统设计和评估。

2021 年的一篇论文提出「指令微调」：把大量任务用自然语言指令描述后再微调语言模型，模型在没见过的任务上零样本表现大幅提升，并在多数评测任务上超过更大的模型。

2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。

InstructGPT 是一组经过人类反馈强化学习训练、能遵循用户指令的 GPT-3 模型。OpenAI 于2022年1月宣布该成果，并将其设为 API 的默认语言模型。

FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。

ReAct 是一种提示方法：让语言模型把写出来的推理与调用外部工具或环境的行动交替进行，在问答、事实核查和交互式决策任务上都取得改进。

RT-1 是一个控制真实机器人的变换器模型，用 13 台机器人历时 17 个月收集的超过 13 万个回合训练，在 700 多条指令上报告了 97% 的成功率。

LLaMA 是参数规模 7B 至 65B 的基础语言模型系列，仅用公开数据集训练；13B 模型在多数基准上超过 GPT-3，且全部模型向研究社区发布。

OpenAI 于 2023 年 3 月提交到 arXiv 的 GPT-4 技术报告，描述了一个大规模多模态 Transformer 模型，给出了多项专业基准上达到人类水平的结果，并说明了团队如何让规模化行为变得可预测。

这篇 2023 年的论文提出 Segment Anything 项目：一个可提示的分割任务、一个模型，以及包含 1100 万张图像上 10 亿多个掩码的数据集，并把模型与数据一并公开，以推动计算机视觉基础模型研究。

一个众包的模型评测平台：用户对两个匿名模型的回答投票，结果汇总成 Elo 排行榜；2023 年上线，2025 年以 LMArena 之名重新启动。

2023 年的一篇论文把人类反馈强化学习的优化目标改写成一个简单的分类损失，让语言模型不必依赖独立的奖励模型和强化学习就能对齐人类偏好。

这是一篇 2023 年 7 月由 Hugo Touvron 领衔、Meta 多位作者完成的论文，提出并发布了参数量从 70 亿到 700 亿的 Llama 2 系列预训练与微调模型，并详细说明了对话版本如何微调、如何提升安全性。

一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。

Mamba 是 Albert Gu 与 Tri Dao 提出的一种序列建模架构，用选择性状态空间替代注意力，实现线性时间与更快推理，语言建模表现可与两倍规模的 Transformer 相比。

Mixtral 8x7B 是 Mistral AI 的稀疏专家混合语言模型，每层由路由器为每个词元挑选 2 个专家，总共可访问 47B 参数，推理时只用到 13B。

Google Gemini 团队的一份报告，介绍以超长上下文为核心的多模态模型 Gemini 1.5 系列，其中 Gemini 1.5 Pro 可在最多 1000 万 token 的上下文中回忆信息。[^1]

Meta 2024 年的论文，把 Llama 3 描述为一组基础模型（80 亿、700 亿和 4050 亿参数），预训练语料约 15 万亿 token，并报告其在广泛任务上与 GPT-4 等领先模型质量相当。

2025 年的一篇论文提出 ARC-AGI-2 基准：用输入—输出配对任务测量前沿 AI 的抽象推理能力，并给出人类测试基线，让分数能更细致地反映进展。

对齐指让模型的行为符合用户和设计者的真实意图，而不只是训练目标字面上奖励的东西；用人类偏好比较来训练模型，是目前一条实用路线。

JAX 是一个面向加速器的 Python 数组计算与程序变换库，用于高性能数值计算和大规模机器学习。它提供 NumPy 风格的接口，并把编译、批处理、自动微分和并行化做成可组合的变换。

强化学习是机器学习与最优控制的一个分支：智能体在动态环境中通过试错，学习怎样的动作能让奖励信号最大化。

监督学习用成对的标注样本训练模型，让它学会从输入到输出的映射，从而对未见过的数据给出预测。衡量它成败的关键，是模型在训练集之外的泛化能力。

无监督学习让算法在没有标签的数据上自行找出结构，如聚类、降维与生成建模。从伊辛模型、玻尔兹曼机到变分自编码器，它是聚类工具与神经生成模型背后的框架。

ImageNet 是按 WordNet 概念体系组织的大型分层图像数据库，2009 年在普林斯顿大学发布，含 21841 个类别、超过 1400 万张图像及边界框标注，其 1000 类子集被 ILSVRC 挑战赛采用。

谷歌自动驾驶汽车原型是在量产车上加装摄像头、雷达和车顶激光测距仪的试验车，它沿人工驾驶车辆事先测绘好的路线行驶，车上始终有一名受过训练的安全驾驶员和一名软件操作员。

通用人工智能（AGI）指在广泛任务上达到或超过人类水平的人工智能。这个词没有公认定义；Morris 等人提出的框架按性能等级与通用性给系统分级。

姚期智是从上海出生的计算机科学家，因对计算理论的根本性贡献获2000年图灵奖，后来在清华大学创办姚班与交叉信息研究院。

视觉-语言-动作模型（VLA）是一种机器人策略：输入摄像头图像和一句语言指令，直接输出动作，通常由预训练的视觉-语言模型改造而来。

幻觉（hallucination）指模型把虚假或误导性的信息当作事实陈述出来。它是生成式人工智能最典型的失效方式之一，也是人们难以直接信任模型输出的主要原因。

MYCIN 是 20 世纪 70 年代在斯坦福大学开发的早期专家系统，用于判断造成严重感染的细菌并推荐抗生素治疗，以规则库与推理机分离、能解释自身推理而著称。

位于新罕布什尔州汉诺威的私立常春藤学院，1769年依皇家特许状创办。1955年 John McCarthy 在此起草夏季研究项目提议，1956年的研讨会被称为人工智能作为一门学科诞生的时刻。

多伦多大学是加拿大的公立研究型大学。杰弗里·辛顿（Geoffrey Hinton）自1987年起与其保持隶属关系，2012年的深度卷积网络AlexNet也在这里研发。

华盛顿大学是美国的公立大学，1861 年建校，在西雅图、博塞尔和塔科马设有校区，并设有医学中心；校方称其联邦科研经费多于任何美国公立大学。

麻省理工学院位于马萨诸塞州剑桥市，明斯基与麦卡锡在此共同创建的AI实验室后来发展为CSAIL，也曾发明Lisp机器。

加州大学伯克利分校是加州第一所赠地公立研究型大学，建校于1868年，校名取自哲学家乔治·贝克莱，以长期的诺贝尔奖记录、学生运动的历史和在公立大学中的领先排名为人所知。

斯坦福大学是位于加州的私立研究型大学，建有斯坦福人工智能实验室（SAIL）与以人为本人工智能研究院（HAI），后者每年发布AI Index报告。

卡内基梅隆大学位于匹兹堡，其计算机科学系是美国最早的之一，并与Deep Blue象棋系统和Sphinx语音识别等工作密切相关。

IBM 是美国的科技公司，1911 年以计算-制表-记录公司（CTR）的名称成立，1924 年改名为国际商业机器公司。它的研究人员造出了 1997 年击败卡斯帕罗夫的深蓝，以及沃森问答系统。

赫伯特·西蒙（1916—2001）是政治学家、心理学家与计算机科学家，与纽厄尔、肖做出第一个成功的人工智能程序，并获1978年诺贝尔经济学奖。

出生于柏林的美籍计算机科学家，写出了能与使用者进行文字对话的早期程序 ELIZA，后来又出版了一部影响广泛的对人工智能的批评著作。

贝尔实验室是贝尔系统的研究机构，晶体管、Unix 和 C 语言都诞生于此。杨立昆（Yann LeCun）用于手写数字识别的卷积网络也在这里完成，使其成为神经网络研究的重要早期阵地。

美国计算机科学家与心理学家，与赫伯特·西蒙、J. C. Shaw 一起开发了最早的列表处理语言和最早的启发式问题求解程序，把思维当作计算来研究。

马文·明斯基（Marvin Minsky，1927–2016）是美国科学家，人工智能实验室的创办者之一。他与西摩·派珀特合著的《Perceptrons》分析了简单神经网络的局限。

弗兰克·罗森布拉特（Frank Rosenblatt，1928–1971）是美国心理学家，发明了感知机，这是一种能从样例中调整权重的早期学习机器。Mark I感知机现存于史密森学会。

美国物理学家，1933 年出生，1982 年提出用自旋物理思想存储和重现图案的霍普菲尔德网络，并获得 2024 年诺贝尔物理学奖的一半。

爱德华·费根鲍姆（1936年生）被称为『专家系统之父』，主持开发了 DENDRAL、MYCIN 等专家系统，率先使用『知识工程』等说法，1994 年与拉吉·雷迪共获 ACM 图灵奖。

朱迪亚·珀尔是计算机科学家与统计学家，提出贝叶斯网络及与之配套的主要推理算法，后又以 do-演算建立从数据中分析因果关系的数学框架，2011 年获 ACM 图灵奖。

大卫·鲁梅尔哈特（David Rumelhart，1942–2011）是美国认知心理学家，他 1986 年与同事的工作，推动了反向传播和神经网络模型的传播。

IBM 研究院研发了 1997 年击败国际象棋冠军卡斯帕罗夫的「深蓝」，以及 2011 年赢得《危险边缘》的 Watson。

澳大利亚出生的机器人学家罗德尼·布鲁克斯提出包容架构，推动行为主义机器人研究，曾任 MIT 人工智能实验室与 CSAIL 主任，并联合创办 iRobot 等公司。

通用问题求解器是兰德公司为「通用求解机器」这一目标所做的程序，被认为是第一个把问题知识与通用求解策略分开的计算机程序。

Fortran 是 IBM 于 1957 年发布的数值计算编程语言，名字取自「公式翻译」。它的编译器第一次证明，机器自动翻译出来的代码可以跑得几乎和手写代码一样快。

DARPA 是美国国防部下属的研究机构，1958年成立，最初名为 ARPA。它把使命表述为「为国家安全创造并防止技术突袭」，并从2004年起以大奖赛的方式推动自动驾驶技术。

麻省理工学院的计算机科学与人工智能实验室（CSAIL）由人工智能实验室与计算机科学实验室于 2003 年合并而成，是 MIT 校园规模最大的实验室，源头可追至 1959 年的 AI Project。

Arthur Samuel 在 IBM 开发的跳棋程序，1949 年着手、1959 年发表，靠记忆已见局面、自我对弈和局面评分来学习，达到了相当不错的业余水平。

优尼迈（Unimation）是1961年在康涅狄格州成立的公司，创始人为乔治·德沃尔与约瑟夫·恩格尔伯格，它制造了第一台 Unimate 机器人，后来又推出 PUMA 系列。

生于台北的计算机科学家与技术高管，先后在微软、谷歌中国主持研究业务，联合创办创新工场，撰写多部人工智能著作，并创立大模型公司 01.AI。

西雅图华盛顿大学的蛋白质科学家，以计算蛋白质设计闻名：2003年用计算方法设计出与自然界已知蛋白质都不相同的新蛋白质，并因此获得2024年诺贝尔化学奖的一半。

计算语言学协会（ACL）是自然语言处理领域的科学专业组织，1962 年成立，主办该领域最有影响力的会议之一，并出版期刊《计算语言学》。

斯坦福人工智能实验室（SAIL）由约翰·麦卡锡（John McCarthy）于1963年创办，与斯坦福机械臂、斯坦利自动驾驶汽车等成果相关。

德国计算机科学家，1997年与塞普·霍赫赖特合著LSTM论文，自1995年起领导瑞士人工智能实验室IDSIA。他也公开提出，部分AI成果的贡献应得到更充分的认可。

一种监督式的最大间隔模型，用于分类与回归；它用尽可能宽的间隔把不同类别分开，并通过核函数处理非线性数据。

ELIZA 是20世纪60年代中期在 MIT 开发的早期对话程序。它的 DOCTOR 脚本模仿心理治疗师，用户容易误以为它真的听懂了，此即「ELIZA 效应」。

1966年1月，Joseph Weizenbaum 发表论文，介绍在 MIT 的 MAC 分时系统上运行的 ELIZA：它用关键词触发的分解规则和重组规则，实现某些人机自然语言对话。

爱丁堡大学机器智能与感知系成立于 1966 年 10 月，由唐纳德·米基领导的实验编程单位改制而来，是英国早期把人工智能作为正式建制单位的历史之一，也是该校信息学院的前身。

德国计算机科学家，与施密德胡伯合作提出了长短期记忆网络（LSTM），用于学习序列数据。他也领导了2024年的xLSTM研究。

美国计算机科学家，以 Google 的 MapReduce、Bigtable、Spanner 等基础系统，以及 TensorFlow 和 Google 首席科学家身份为人所知。

国际人工智能联合会议（IJCAI）是1969年在加利福尼亚州为科学与教育目的设立的非营利法人，主办IJCAI系列会议（1969年起奇数年两年一届，2015年起每年一届），并出版期刊与会议论文集。

施乐帕洛阿尔托研究中心（PARC）1970 年由施乐创办，以以太网、激光打印和 Alto 个人计算机闻名，2002 年成为独立公司，2023 年加入 SRI International。

麻省理工学院人工智能实验室1970年在明斯基领导下成立，源自MIT早期人工智能研究及Project MAC中的AI小组；2003年与计算机科学实验室合并为CSAIL。

SHRDLU 是 Terry Winograd 于 1968—1970 年在 MIT 开发的早期自然语言理解程序，能就一个积木世界用英语对话、执行指令并回答问题，其演示影响深远。

周志华是南京大学的计算机科学家，研究集成学习、弱监督学习与多标签学习。他在南京大学创办了 LAMDA 研究所，现任该校副校长，并于2025年当选中国科学院院士。

英国计算机科学家，1976 年出生，研究强化学习。他领导了 DeepMind 的 AlphaGo 项目，是 2013 年深度 Q 网络论文的作者之一，2025 年创办 Ineffable Intelligence。

斯坦福计算机科学家李飞飞创建了 ImageNet 大规模图像数据集及挑战赛，为数据驱动的计算机视觉提供了共同基准，并在学界与产业界长期从事 AI 研究。

戴密斯·哈萨比斯（Demis Hassabis）是英国 AI 研究者和创业者，DeepMind 联合创始人。他于 2024 年与人共享诺贝尔化学奖，表彰蛋白质结构预测方面的工作。

R1（DEC 内部称 XCON，即「专家配置器」）是 1978 年用 OPS5 写成的基于规则的专家系统，能按客户需求为 VAX 计算机系统自动选配部件，1980 年起在 DEC 工厂投入使用。

国际机器学习会议（ICML）是每年举办一次的机器学习学术会议，自1980年起持续召开，由国际机器学习学会主办，是该领域历史最悠久的会议，也是影响力最大的三个主要会议之一。

捷克计算机科学家，word2vec的主要作者。word2vec是2013年提出的一组词向量学习方法，他后来还参与了fastText库的开发。

CVPR（计算机视觉与模式识别会议）是每年举办的计算机视觉学术会议，1983 年首次在华盛顿特区举行，通常在 6 月于北美召开，以多级双盲评审和论文开放获取为特点。

玻尔兹曼机是一种用全局能量给每种网络配置打分、并用随机学习算法训练的神经网络。它由杰弗里·辛顿与特里·塞诺夫斯基提出，把能量模型带进了认知科学与机器学习。

Cyc 是由 Douglas Lenat 于 1984 年发起的手工构建的常识知识库，试图把关于世界如何运转的基本概念和规则完整地写成机器可读的形式。

美国科学家，1985 年生，在 Google DeepMind 参与开发 AlphaFold，因蛋白质结构预测与德米斯·哈萨比斯共同分享 2024 年诺贝尔化学奖的一半。

1985年，Ackley、Hinton 与 Sejnowski 在《Cognitive Science》发表论文，提出一种修改连接强度的通用学习规则，并用简单例子展示网络能从样本中形成结构高效的内部表示。

循环神经网络（recurrent neural network，RNN）通过反馈连接，把序列中前一步的信息带到下一步。其变体 LSTM 专门用于在更长跨度中保留记忆。

布雷特·阿德科克是连续创业者，创办了招聘平台 Vettery、电动垂直起降飞机制造商 Archer Aviation 和人形机器人公司 Figure AI，并担任 Figure 的首席执行官。

神经信息处理系统大会（NeurIPS）是每年 12 月举行的机器学习与计算神经科学会议，1987 年创办，被视为人工智能研究中影响最大的会议之一。

NETtalk 是 Terrence Sejnowski 与 Charles Rosenberg 构建的人工神经网络，学会把英文文本转换成音素并合成可听的语音，说明只靠样例训练的网络也能泛化到没见过的单词。

美国人工智能研究者，OpenAI 联合创始人之一，领导其强化学习团队并参与打造 ChatGPT 的训练方法；后转投 Anthropic，又出任 Thinking Machines Lab 首席科学家。

ALVINN 是一个三层反向传播网络，以摄像头与激光测距仪的图像为输入、输出车辆应行驶的方向，用模拟道路图像训练，并在卡内基梅隆大学的自主导航测试车上做了验证。

1989年，杨立昆与同事在AT&T贝尔实验室用反向传播训练卷积网络，识别美国邮件上手写的邮政编码数字，测试错误率为5.0%。这项工作表明，卷积结构可以在真实任务中端到端地学习。

Dragon Dictate 是 Dragon Systems 于 1990 年推出的第一款面向消费者的语音识别产品，售价 9000 美元；它开启了后来走向连续语音识别的那条产品线。

微软 1991 年成立的研究机构，成果包括 ResNet 图像识别架构，并用于 Kinect、Bing、HoloLens 等产品。

PC Therapist 是约瑟夫·温特劳布（Joseph Weintraub）编写的对话程序；其修改版在 1991 年首届 Loebner Prize Competition 中获胜，让 10 位评审中的 5 位以为它是人。

这是一篇 1992 年由 Watkins 与 Dayan 发表的技术札记，提出了 Q 学习：一种计算量小、增量式的学习最优动作价值的方法，并证明它在特定条件下以概率 1 收敛到最优值。

Gerald Tesauro 1992 年的论文以自对弈西洋双陆棋为案例，检验时序差分学习能否解决复杂现实任务。

切尔西·芬是斯坦福大学助理教授，研究元学习、深度强化学习与机器人感知控制的一体化学习，也是 Physical Intelligence 的联合创始人。

Mila是位于蒙特利尔的深度学习研究所，1993年由约书亚·本吉奥（Yoshua Bengio）创立，前身为LISA，培养出伊恩·古德费洛（Ian Goodfellow）等人。

C4.5 是一个机器学习系统，能从已知类别的案例中生成决策树或 if-then 规则。J. Ross Quinlan 1993 年的书完整介绍了它的 C/UNIX 实现、源代码和使用方法。

Newton MessagePad 是苹果第一款基于 Newton 技术的掌上电脑，1993 年 8 月 2 日上市，采用笔输入、手写识别和模块化通信设计。

AdaBoost（自适应提升）是 Freund 和 Schapire 在 1995 年提出的统计分类元算法：它反复调整训练样本的权重、依次训练多个弱分类器，再把它们的输出加权合成为一个更强的分类器。

Corinna Cortes 与 Vladimir Vapnik 1995年的论文提出支持向量网络：将输入非线性映射到高维特征空间并构造线性决策面，把方法从完全可分数据扩展到非可分数据。

Dragon NaturallySpeaking 是美国 Dragon Systems 公司开发的语音识别软件，1997 年以连续听写产品问世，能把口述转成文字、执行语音命令并朗读文档，如今归属微软。

美国宇航局（NASA）的火星探路者号着陆器于 1997 年 7 月 4 日着陆，放出小车「索杰纳」，首次使用气囊着陆技术，并传回数千张火星表面图像。

1998 年成立的非营利组织，守护《开放源代码定义》，并于 2024 年发布《开源 AI 定义》，为「什么算开源」提供共同参照。

MNIST 是一个包含 60,000 张训练图像和 10,000 张测试图像的手写数字数据库，图像被归一化为 28×28 像素；它与 LeCun 等人 1998 年的论文一起，成为文档识别研究的共同基准。

杨立昆等人1998年的综述主张，学习系统应取代人工设计的特征。它表明LeNet-5等卷积网络在手写数字上优于其他方法，并引入了MNIST数据集。

Brin 和 Page 的 PageRank 技术报告把超链接当作引用，用链接结构为网页排序，并用于构建 Google 搜索引擎；它是描述两人早期工作的两篇被高度引用论文之一。

谷歌的研究部门，位于山景城，通常以 2000 年为成立年份，提出了 Transformer、BERT 与 T5，这些工作构成了现代大语言模型的基础。

Breiman 2001 年的论文把随机森林定义为多棵依赖随机向量的树的组合，分析其泛化误差与树强度和相关性的关系，并报告其错误率与 Adaboost 相当且更抗噪声。

Torch 是一个面向机器学习的科学计算框架，以 LuaJIT 作为脚本层、C/CUDA 作为底层实现，把 GPU 放在首位，并拥有庞大的社区扩展包生态。

CALO 是 SRI 于 2003 年启动的认知助手项目，属于 DARPA 一项为期五年、投入 1.5 亿美元的计划，目标是让助手通过观察和推理学习，而非按固定动作预先编程。它后来成为 Siri 的技术来源之一。

主题模型把文档表示为主题的混合，用潜在主题为文本集合提供紧凑的统计描述；2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。

Yoshua Bengio 等人 2003 年的这篇论文为每个词学习向量，并与预测下一个词的网络一起训练，引入了词嵌入的核心思想。

词嵌入（word embedding）把每个词表示为一组从文本中学得的数字，用法相近的词得到相近的数字组合。它是现代语言模型的基本组成部分之一。

布罗德研究所是位于马萨诸塞州剑桥市的独立非营利研究机构，2004年在 Eli 与 Edythe Broad 的资助下成立，致力于弄清疾病的根源，并把生物学上的发现转化为对患者的影响。

BigDog 是波士顿动力公司研制的四足机器人，由 DARPA 资助，目标是做成能跟随士兵、在车辆难以通行的地形上驮运物资的「机械骡」。

Google 的 Dean 与 Ghemawat 于 2004 年发表论文提出 MapReduce：用户只写 map 与 reduce 函数，系统自动在廉价机器集群上并行执行。

OWL（网络本体语言）是 W3C 于 2004 年 2 月 10 日发布的推荐标准：一种在 Web 上发布和共享本体的语义标记语言，用形式语义为词项给出定义，让软件能处理信息的内容，而不只是把它呈现给人。

联结时序分类（CTC）是一种训练循环神经网络为未切分序列（如语音、手写）打标签的方法，不需要逐帧对齐。它于 2006 年提出，用 CTC 训练的 LSTM 因此赢得了循环网络早期的国际竞赛。

Theano 是蒙特利尔学习算法研究所开发的 Python 库与优化编译器，用于高效处理多维数组表达式，自 2007 年起结合符号求导、GPU 运行与 C 代码生成，支撑大规模科学计算与教学。

Common Crawl 是一家非营利机构，自 2007 年起抓取公开网页，并把 PB 级的存档和数据集免费开放。它的语料库后来成为训练大语言模型的重要数据来源之一。

CIFAR-10 与 CIFAR-100 是从 8000 万张小图像数据集中抽出的带标签子集。CIFAR-10 含 10 类、共 60000 张 32×32 彩色图像。

Alex Krizhevsky 于 2009 年撰写的技术报告，提出 CIFAR-10 与 CIFAR-100，并研究用多层生成模型从小图像中学习特征。

深度神经网络声学建模用多层网络把语音映射为音素等单元。2010 年 NIPS 论文用深度信念网络与均值-协方差 RBM 提取语音特征，在 TIMIT 上取得 20.5% 音素错误率。

scikit-learn 是一个用 Python 编写的开源统计学习库，2007 年起步、2010 年 2 月 1 日首次公开发布，如今是 GitHub 上最流行的机器学习软件之一。

图形处理器（GPU）能同时执行大量算术运算，很适合神经网络训练。2010年前后起，GPU被用于深度学习，使其能够在更大规模上实际运行。

Xavier（Glorot）初始化是 Glorot 与 Bengio 在 2010 年提出的权重初始化方法，按层规模设定初始权重尺度，使信号稳定传播，让深层网络收敛更快。

NVIDIA 于 2010 年 11 月发布的消费级显卡。两张各带 3 GB 显存的 GTX 580 后来训练出了在 ILSVRC-2012 夺冠的 AlexNet。

2010年 NIPS 论文，Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模，在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。

2011 年的一篇 workshop 论文，介绍 Torch7：一个扩展 Lua 的数值计算框架与机器学习库，用轻量脚本语言换灵活性，用底层优化内核换速度。

谷歌大脑是谷歌 2011 年启动的深度学习团队，以神经网络识别猫闻名，贡献了 TensorFlow 与 Transformer，2023 年并入 Google DeepMind。

2011 年《机器学习研究杂志》论文提出一套统一的神经网络架构与学习算法，以大量无标注语料学习表示，用极少任务专用工程完成词性标注、组块分析、命名实体识别和语义角色标注。

Robonaut 2 是 NASA 与通用汽车合作研制的人形机器人，2011 年前往国际空间站，用于研究灵巧机器人在太空中的表现，2014 年加装双腿以便在站内移动。

微软于 2011 年 6 月 16 日免费发布的测试版开发工具包，让开发者能在 Windows 个人电脑上使用 Kinect 传感器的深度感知、动作追踪和语音识别能力，最初仅限非商业用途。

AlexNet 是一个八层卷积神经网络，在 ILSVRC2012 图像分类任务中以明显优势夺冠，证明用 GPU 在大型标注数据集上训练的大网络可以胜过手工设计特征的方法。

ICLR 是每年4月下旬或5月初举行的机器学习会议，由 Yann LeCun 和 Yoshua Bengio 于2012年创办，以公开同行评审著称。

这是华盛顿大学的一家研究机构，2012 年成立，由 David Baker 领导，设计用于医学和技术的新蛋白质；其实验室产出了 RoseTTAFold，并称做出世界首个计算设计的疫苗。

2012年，Quoc Le、Andrew Ng 等人在谷歌用1000台机器训练大规模无监督神经网络，在没有标注人脸的图像上学会了检测人脸。

2012年发表于 IEEE Signal Processing Magazine 的文章，汇集四个研究组的共同观点，说明用深度神经网络替代高斯混合模型做语音识别声学建模，在多项基准上效果更好。

变分自编码器是一种生成模型：编码器把输入映射为隐空间上的分布，解码器从采样结果重建输入，训练时最大化数据似然的下界。

谷歌的 Tomas Mikolov 等人 2013 年提交的这篇论文提出 CBOW 和 Skip-gram 两种简单结构，能快速从海量文本学习词向量，是 word2vec 的基础。

2013年论文提出连续 Skip-gram 等高效学习词与短语分布式向量表示的方法，并给出提升向量质量与训练速度的扩展。

R-CNN 把卷积神经网络用于区域提议做目标检测，在 PASCAL VOC 2012 上平均精度均值达 53.3%，比此前最好结果高出 30% 以上[^1]。

Zeiler 与 Fergus 提出可视化卷积网络中间层的技术，并用消融实验找到在 ImageNet 上超越 Krizhevsky 等人的架构。

2013 年，Mnih 等人用 Q 学习变体训练卷积网络，直接以像素为输入学会玩七款 Atari 2600 游戏，六款胜过旧方法，三款胜过人类专家。

DeepMind 提出的强化学习智能体，把 Q 学习与卷积神经网络结合，直接从原始像素学会玩雅达利 2600 游戏，在数十款游戏上达到人类水平，且事先不知道游戏规则。

Diederik P. Kingma 与 Max Welling 于 2013 年发表的论文，提出一种随机变分推断与学习算法，使含有连续隐变量、后验难以计算的定向概率模型能够在大规模数据集上训练。

DeepFace 是 2014 年的人脸验证系统，重新设计了对齐与表示两个环节，用一个 1.2 亿多参数的九层网络在 Labeled Faces in the Wild 上达到 97.35% 的准确率。

2014 年的一篇论文提出 Dropout：训练时随机丢弃神经元，让大型神经网络不易过拟合，并在视觉、语音等领域的多项基准上取得当时最好的结果。

保罗·艾伦于2014年创办的非营利人工智能研究机构，总部在西雅图，以 Semantic Scholar 学术搜索和公开训练数据、代码与中间检查点的 OLMo 系列开放语言模型闻名。

2014 年发表的论文，提出 Microsoft COCO 数据集：以日常复杂场景为对象，用逐实例分割标注常见物体，把物体识别放进场景理解的大框架里。

一篇2014年的谷歌论文，提出Inception架构；其GoogLeNet在固定计算预算下加深加宽网络，在ILSVRC 2014分类与检测任务上刷新当时最好成绩。

这篇 2014 年的论文把神经网络与外部记忆耦合起来，网络通过注意力读写记忆；整个系统端到端可微，因此可以用梯度下降训练。

2014年的一篇论文提出端到端深度学习语音识别系统，省去手工设计的噪声模块和音素词典，依靠多GPU训练的循环网络与合成数据。

批归一化把每一层的输入在小批量上重新中心化到零、缩放到单位方差，使深度网络的训练更快、更稳定。

2015 年 Sergey Ioffe 与 Christian Szegedy 提出的方法：对每一层的输入按训练小批量做归一化，从而可以用更大的学习率、更随意的初始化，并大幅加快深度网络的训练。

2015 年 5 月提交到 arXiv 的生物医学图像分割卷积网络，能用极少的标注图像端到端训练，并在 ISBI 细胞追踪挑战赛 2015 的各个类别中夺冠。

2015 年论文提出与检测网络共享卷积特征的区域建议网络，使候选区域生成几乎无额外成本，实现端到端训练；在 GPU 上达到每秒 5 帧，并在多个基准上取得当时最好精度。

2015 年的 YOLO 论文把目标检测改写为单个神经网络对边界框和类别概率的回归，实现实时检测，并减少空白背景上的误检。

2015 年的论文提出 YOLO，把目标检测视为从图像像素直接回归边界框和类别概率的单一问题。一个神经网络一次评估即可完成预测，达到实时速度。

2015年的这篇论文提出了残差网络，通过捷径连接把每一层的输入加回到输出上。它让超过一百层的网络能够训练，并在2015年的多项ILSVRC和COCO任务中夺得第一名。

Boston Dynamics 在 2016 年推出的新一代 Atlas 人形机器人，电力驱动、液压执行，比前代更小更轻更灵活，2024 年退役。

2016年《自然》论文介绍了AlphaGo，它结合深度神经网络与树搜索。2015年10月，其分布式版本以5比0击败职业棋手樊麾，首次在不让子的全尺寸围棋中战胜职业棋手。

论文分析残差块中的信号传播：用恒等映射作跳跃连接、激活放在相加之后，信号就能在任意两个块之间直接传递；新提出的残差单元更易训练，1001 层网络在 CIFAR-10 上错误率 4.62%。

NVIDIA 于 2016 年 4 月发布的 Tesla P100 是首款基于 Pascal 架构的数据中心 GPU，也是第一个同时用上 HBM2 堆叠显存、面向深度学习的半精度指令和 NVLink 互联的加速卡。

OpenAI Gym 是 2016 年 4 月以 beta 形式公布的强化学习工具包，既提供从经典控制任务到 Atari 游戏、模拟机器人的环境集合，也提供一个用于比较和复现结果的网站。

SQuAD 是一个阅读理解数据集，包含 10 万多个由众包工人针对维基百科文章提出的问题，每个问题的答案都是原文中的一段文字。它于 2016 年发布，免费开放，并给出了可对照的人类成绩上限。

DeepMind 提出的原始音频生成模型，逐个采样点预测波形，把神经语音合成的自然度大幅拉近人类水平，后来成为 Google Assistant 与云端语音合成的基础。

2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。

深度伪造（deepfake）指用人工智能生成或修改的图像、视频和音频，属于合成媒体。「深度伪造」由「深度学习」与「假」组合而成，2017 年末出现后成为这类内容的通称。

2017 年的论文，展示了 AI 智能体可以从人类对行为的简短比较中学习任务，而无需手写奖励。这一方法即基于人类反馈的强化学习，后来成为训练聊天助手的核心步骤。

2017年，Schulman 等五人提出近端策略优化（PPO），一种更易实现和调参的强化学习算法；OpenAI 后来将其作为默认强化学习算法。

2017年论文，作者为 Tsung-Yi Lin 等五人。它把密集单阶段检测器的精度差距归因于前景与背景的极端类别不平衡，并提出降低已分类良好样本损失权重的焦点损失。

DeepMind 开发的围棋程序，不用人类棋谱，只靠自我对弈从随机下法起步学会围棋，几天之内就击败了此前版本的 AlphaGo。

mixup 是 2017 年一篇论文提出的训练原则：把两个样本及其标签按同一比例混合成新样本训练神经网络，在图像、语音和表格数据上提升了模型的泛化能力。

这是 van den Oord、Vinyals 与 Kavukcuoglu 在 2017 年提出的 VQ-VAE：一种潜在编码为离散而非连续、先验由学习而非固定的生成模型，让无监督地学到有用表示成为可能。

2017 年挂在 arXiv、后于 Science 发表的论文：同一个自我对弈强化学习算法 AlphaZero 学会了国际象棋、将棋和围棋，并在三种棋里都战胜了强力的专门程序。

AlphaZero 是 DeepMind 研发的通用棋类系统，2017 年 12 月以预印本形式公布。它只被给定规则，从随机走子开始，在 24 小时内于国际象棋、将棋和围棋上都达到了超越人类的水平。

世界人工智能大会（WAIC）是 2018 年起每年在上海举办的人工智能会议，由多个国家部委、中国科学院、中国工程院、中国科协与上海市政府共同主办，集论坛、展览与项目签约于一体。

ULMFiT 是 Howard 与 Ruder 在 2018 年提出的通用语言模型微调方法，用于 NLP 任务；在六个文本分类任务上超过当时最先进水平，并在少标签下表现突出。

GLUE 是一个基准与分析平台，用一组多样的既有自然语言理解任务来评测模型，配有在线对比平台和人工编写的诊断测试集，用于细致的语言学分析。

OpenAI Five 是 OpenAI 用强化学习训练的五人《Dota 2》机器人队伍，2019 年 4 月在旧金山以三局两胜击败当届世界冠军 OG。

GPT-1 是 OpenAI 的第一代生成式预训练 Transformer，发布于 2018年6月。它表明，先用无标注文本预训练、再针对具体任务微调的同一个语言模型，能够改进多项语言任务的结果。

2018 年的论文用神经网络参数化隐藏状态的导数，取代固定层序列，输出由微分方程求解器算出，得到常数内存开销的连续深度模型。[^1]

Papers with Code 是免费开放的机器学习论文与代码资源，并维护追踪任务最先进水平的基准排行榜；2019 年底起由 Facebook 控股，2026 年重新上线。

DeepMind 研发的第一代蛋白质结构预测系统，2018 年在 CASP13 盲测中综合排名第一，做法是估计残基间距离的概率分布，而不只依赖接触图。

AlphaStar 是 DeepMind 开发的《星际争霸 II》AI。2019 年它在三个种族上都达到宗师水平，在 Battle.net 活跃玩家中排名超过 99.8%。

百度于 2019 年 3 月发布的第一代 ERNIE 预训练语言模型，在 BERT 的掩码预训练基础上加入实体级和短语级掩码，并在五项中文 NLP 任务上报告了当时最好的成绩。

SuperGLUE 是 2019 年发布的通用语言理解基准，作为 GLUE 的更难继任者：八项任务、单一指标、分析工具包与公开排行榜。

XLNet 是一种广义自回归预训练方法：它通过最大化所有分解顺序排列的期望似然来学习双向语境，并在可比实验设置下于 20 项任务上优于 BERT。

RoBERTa 是对 BERT 预训练的复现研究：系统测量关键超参数与训练数据规模的影响，发现 BERT 训练明显不足，妥善训练后即可匹敌或超过此后发表的模型，并在 GLUE、RACE、SQuAD 上取得最好成绩。

模型并行把单个模型的参数与计算切分到多块加速器上，让一台设备装不下的大模型也能训练。英伟达 2019 年的 Megatron-LM 论文给出了一种层内实现，只需在原生 PyTorch 中插入少量通信操作。

2019 年的一篇论文，把各类语言任务统一为文本到文本，系统比较迁移学习选择，发布 C4 语料与模型，并在摘要、问答、文本分类等基准上取得当时最优结果。

MuZero 是 DeepMind 提出的强化学习算法，它自己学出一个环境模型，并在该模型中做规划，在不被告知规则的情况下掌握了 Atari、围棋、国际象棋和将棋。

2020 年由 Clark、Luong、Le 与 Manning 提出的预训练方法：让模型判断哪些词被替换过，而不是填补被遮住的词，用更少的算力达到与大模型相当的效果。

《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。

EleutherAI 是草根 AI 研究团体，2020年7月始于 Discord 服务器，发布了 The Pile 及多个开放模型，2023年成为非营利研究机构。

2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。

AlphaFold2 是 DeepMind 于 2020 年公布的蛋白质结构预测系统，在多数情况下达到与实验结构相当的精度；相关领域的工作获得 2024 年诺贝尔化学奖的一半奖项。

The Pile 是 EleutherAI 于2020年12月31日发布的 825 GiB 英文文本数据集，由22个数据源组成，并附有一篇 arXiv 论文。多个该团体的开放模型都用它训练。

状态空间模型把序列表示成一个随输入逐步演化的隐藏状态。S4 在 2021 年把它带入深度学习，Mamba 让参数随输入变化，从而在长序列上以线性时间建模。

2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。

MATH 是包含 12,500 道高难度竞赛数学题的数据集，每题附完整分步解答，于 2021 年发布，用于测量和训练模型的数学推理能力。

LaMDA 是 Google 在 2021 年公布的一系列对话语言模型，2022 年的论文详述了它在安全性与事实依据方面的做法，后来其轻量版驱动了 Bard。

GPT-J-6B 是 EleutherAI 于 2021 年 6 月发布的约 60 亿参数开源语言模型，以 Apache 2.0 许可开放，公开基准成绩接近 GPT-3 Curie，是当时最大的开源类 GPT-3 模型。

文心 ERNIE 3.0 是 2021 年公布的大规模预训练语言模型，参数量 100 亿，把纯文本与大规模知识图谱一起用于训练，并融合自回归与自编码两种网络，让同一个模型既能做语言理解也能做生成。

OpenAI Codex 是2021年发布的 GPT 语言模型，在 GitHub 的公开代码上微调而成，能把自然语言翻译成代码，并随 HumanEval 基准测试一同提出。

2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。

GSM8K 是 OpenAI 发布的一套小学数学应用题数据集，包含 8.5K 道题；配套论文显示，即使最大的 Transformer 模型成绩也不高，而训练验证器、从多个候选解答中挑选正确答案能明显提升表现。

Adept 是一家 2022 年成立的人工智能公司，计划训练多模态基础模型并把它做成智能体，2023 年开源了 Fuyu-8B，2024 年联合创始人加入亚马逊后转向支撑智能体式 AI 的解决方案。

GPT-NeoX-20B 是 EleutherAI 于 2022 年 2 月发布的 200 亿参数开放语言模型，权重以 Apache 2.0 协议公开，训练与评测代码一并开源。

PaLM 是 Google Research 于 2022 年 4 月发布的 5400 亿参数语言模型，在 6144 块 TPU v4 上训练，多项基准成绩优于此前模型。

Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。

Imagen 是 Google Research 于 2022 年 5 月发布的文本到图像扩散模型，它把冻结的大语言模型与扩散模型结合，并提出了 DrawBench 基准；Google 未公开发布其代码或演示。

BIG-bench 是一个由社区共同构建的大型基准，包含 204 个任务，专门用来测试语言模型在被认为超出其当前能力的问题上的表现，相关论文于 2022 年 6 月发布。

2022 年的一篇论文提出，大语言模型的部分能力只在模型规模足够大时才出现，无法由小模型的表现外推预测，因此继续扩大规模可能继续拓展模型的能力范围。

BLOOM是BigScience项目于2022年7月12日发布的1760亿参数开放多语言大语言模型，权重依据负责任使用的RAIL许可证提供。

GLM-130B 是清华大学 KEG 实验室与智谱 AI 联合发布的 1300 亿参数开源中英双语稠密语言模型，目标是在千亿参数规模上做出一个不输 GPT-3 的开放模型。

2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。

《宪法式 AI》是 Anthropic 2022 年的论文，提出以书面原则和 AI 反馈代替人工标注有害输出，训练无害的助手。

2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。

Hugging Face 于 2023 年推出的公开大模型排行榜，用完全统一的设置评测开源模型，让分数可复现、可比较；2025 年退役。

2023 年的一篇论文，让语言模型自学决定何时调用计算器、搜索引擎等外部工具，并把返回结果融入后续文本生成。

2023 年 3 月，微软研究者在一篇论文中测试了早期版本的 GPT-4，认为它在众多领域表现出惊人的通用性、接近人类水平，可被视为迈向通用人工智能（AGI）的早期但不完整的一步。

QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。

Sakana AI 是一家位于东京的 AI 研发公司，2023 年 7 月创立，以演化式模型合并、The AI Scientist 等项目及日语模型 Namazu 为人所知。

FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。

WebArena 是可复现的网页环境，含电子商务、社交论坛、协作软件开发、内容管理四类网站，用于测试语言引导的智能体；GPT-4 智能体成功率 14.41%，人类 78.24%。[^1]

GPQA 是包含 448 道选择题的问答基准，题目由生物学、物理学和化学专家撰写，设计成熟练非专家靠上网也答不出；基于 GPT-4 的最强基线正确率只有 39%，而同领域专家达到 65%。

GAIA 是一个面向通用 AI 助手的基准，用对人类简单、对 AI 困难的真实问题，考察推理、多模态、网页浏览和工具使用能力，并以人类平均水平衡量进展。

OLMo 是艾伦人工智能研究所（Ai2）的开放语言模型，2024 年 2 月 1 日以 1B 和 7B 两种规模发布，连同 Dolma 训练数据、训练代码、日志和检查点，全部采用 Apache 2.0 许可。

一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。

EvoLLM-JP 是 Sakana AI 用进化搜索融合多个开源模型得到的日语模型，不靠从头训练；7B 版本在数学能力上超过了它的三个来源模型各自单独的水平。

Jamba 由 AI21 Labs 于2024年3月28日发布，是一个开放权重模型，把 Mamba 状态空间层与 Transformer 注意力层组合在一起，总参数 520 亿，上下文窗口为 25.6 万词元。

OSWorld 是一个面向多模态智能体的基准与环境，在 Ubuntu、Windows 和 macOS 上用 369 个真实计算机任务考察智能体；人类能完成 72.36% 以上，最好的模型只有 12.24%。

Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。

MMLU-Pro 是 2024 年发布的多任务语言理解基准，把以知识为主的 MMLU 改成更偏推理、每题十个选项的更难测试。

τ-bench 是 2024 年 6 月提交到 arXiv 的基准，用语言模型模拟用户，与配备领域 API 工具和规则条文的语言智能体进行动态对话，并以对话结束时的数据库状态而非回复文本判定成败。

一家以「理解生物学」为使命的公益型 AI 公司，2024 年 6 月随模型 ESM3 一同亮相，2025 年 11 月其团队加入 Biohub。

FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。

SAM 2 是 Meta FAIR 提出的基础模型，用点、框或掩码等提示即可在图像和视频中分割目标，论文同时发布了大规模视频分割数据集与训练代码。

LMSYS 是一家孵化开源 AI 项目的非营利组织，2023 年由多所大学合作发起，2024 年 9 月注册，做开放模型、系统与评测平台如 Chatbot Arena。

FrontierMath 是由 Epoch AI 推出的数学基准，包含数百道由专家数学家撰写与审核的原创高难度题目，用来考察 AI 的高级数学推理能力。发布时，最先进的模型解出的题目不足 2%。[^1][^2]

《人类最后的考试》（HLE）是一个包含 2,500 道题、横跨数十个学科的多模态基准，由全球专家编写，目的是在旧基准被模型刷满之后，仍能测量前沿大模型的能力。

这篇论文用 1000 道精选题目微调 Qwen2.5-32B，再用一种叫「预算强制」的简单方法控制模型的思考长度，在竞赛数学上最多领先 o1-preview 27%，并开源了模型、数据与代码。

基础模型研究所（IFM）是阿布扎比穆罕默德·本·扎耶德人工智能大学（MBZUAI）下属的研究机构，2025 年 5 月成立，在阿布扎比、硅谷、巴黎三地设点，研发 K2、Jais、PAN 等基础模型。

2025 年的一篇论文提出「绝对零」范式：同一个模型自己出题、自己解题，由代码执行器统一判定对错，不使用任何外部数据，就在编程与数学推理上达到总体最佳水平。

Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。

本田技研工业是 ASIMO 的研制方，这台人形机器人于 2000 年 11 月 20 日在东京发布；其人形机器人研究始于 1986 年，历经一系列实验性行走机器。

SRI 国际（SRI International）是位于加州门洛帕克的非营利研究机构，1946 年以斯坦福研究所之名成立。它的人工智能中心造出了机器人 Shakey，后来的研究还催生了 Siri。

克里斯·奥拉（Chris Olah）是加拿大机器学习研究员、Anthropic 联合创始人，研究神经网络的机制可解释性。

损失函数把预测的代价折算成一个数，训练模型就是让这个数尽量小。选哪种损失函数，也就决定了模型会为什么样的错误付出代价。

过拟合指模型对训练数据拟合得过于贴合，因而在新数据上表现变差。它与欠拟合共同构成偏差—方差权衡的两端，通常通过比较训练与验证表现来发现。

正则化是把问题的答案变得更简单的做法：在目标函数中加入惩罚项，使不适定问题可解，或防止模型过拟合。它是机器学习中最基础的技术之一。

激活函数把节点的输入与权重映射为输出，为神经网络提供非线性。sigmoid、tanh、ReLU 塑造了早期深度学习，GELU 如今是 transformer 的主流选择。

具身智能（Embodied AI）指通过与环境的互动来学习的智能体，而不只依赖从互联网上收集的图像、视频或文本数据集；模拟器则是训练和评测这类智能体的虚拟试验台。

基准污染（benchmark contamination）指模型被评测的题目或与之接近的变体本来就出现在它的预训练数据里，于是分数部分反映的是对已见文本的记忆，而不是基准想测的能力。

机制可解释性通过寻找产生行为的内部计算与特征来解释模型，而不是只从外部测试输入输出。关于叠加与稀疏自编码器的研究，展示了少量神经元如何容纳大量特征。

奖励黑客指优化一个不完美的代理奖励函数，结果在真正的奖励函数下表现反而变差。它是目标写偏、而非优化器出错时的典型失效模式。

RoboCup 联合会是国际机器人足球计划与赛事的主办机构，该计划的目标被设定为研发能战胜人类世界杯冠军队的机器人球员。

百度研究院是百度旗下的研究机构，核心是2013年成立的深度学习研究院（IDL），在北京和硅谷设有实验室；2014年吴恩达出任首席科学家，统管整个研究院。

扬·莱克（Jan Leike）是 AI 对齐研究员，2024 年 5 月离开 OpenAI 后加入 Anthropic。

优步先进技术集团是优步旗下的自动驾驶部门。2018 年一起致命事故后，美国国家运输安全委员会认定主因是安全操作员分心、公司安全监管不足；2020 年 12 月，该部门被 Aurora 收购。

语义网是 W3C 推动的一套标准与技术，用 RDF 和 OWL 描述数据，让不同应用、企业和社区能够共享和复用信息，并推动相关技术走向实用工具。

AutoNav 是 NASA 火星探测车“勇气号”和“机遇号”使用的自主导航软件，结合立体视觉、GESTALT 地形评估、视觉里程计和 Field D* 路径规划，让火星车自行判断并选择行驶路线。

视觉里程计让巡视器通过跟踪行驶前后相机图像中的地形特征，测出自己实际移动了多远，而不是只靠数车轮转数。NASA 的火星探测车首次实际演示了这项技术。

Nomad 是卡内基梅隆大学机器人研究所用 NASA 经费研制的四轮行星漫游车原型，在南极冰面上自主行驶、寻找陨石，检验机器人能否自己选择目标并完成分析。

PackBot 是 iRobot 研制的战术移动机器人，源自 1998 年的 DARPA 合同；2001 年在世贸中心现场执行搜索，2002 年首次被美国军方部署。

Chinook 是由 Jonathan Schaeffer 及其同事开发的西洋跳棋计算机程序 [^1]。它成为首个在任何游戏中赢得人类世界冠军的计算机程序，完成后的版本无法被击败 [^1]。

贾里德·卡普兰（Jared Kaplan）是Anthropic联合创始人兼首席科学官，也是2020年《Scaling Laws for Neural Language Models》的第一作者。

亚历克·拉德福德（Alec Radford）是GPT-2、CLIP和Whisper论文的第一作者，2016年至2024年在OpenAI工作。

诺姆·沙泽尔（Noam Shazeer）是《Attention Is All You Need》的第二作者。他2024年回到Google，2026年宣布加入OpenAI。

阿希什·瓦斯瓦尼（Ashish Vaswani）是论文《Attention Is All You Need》的第一作者，该论文提出了Transformer架构。他还共同创办了Essential AI。

何恺明是计算机视觉与深度学习研究者，2015 年 ResNet 论文的第一作者，也是残差连接这一通用结构的提出者之一，现为麻省理工学院终身教职副教授。

艾丹·戈麦斯是加拿大计算机科学家，Cohere 的联合创始人兼首席执行官，也是 2017 年提出 Transformer 架构的论文的八位作者之一。

安德鲁·巴托是计算机科学家，推动强化学习成为一般性研究框架，并与理查德·萨顿共同获得2024年ACM图灵奖。

理查德·萨顿是阿尔伯塔大学的计算机科学家，以强化学习研究闻名；他与 Andrew Barto 合著了该领域的标准教材，并共同获得 2024 年 ACM 图灵奖。

拉吉·雷迪是出生于印度的计算机科学家，研制出第一个能进行连续语音识别的系统，并在卡内基梅隆大学创建和领导了多个重要研究机构。1994年，他与 Ed Feigenbaum 共同获得 ACM 图灵奖。

Epoch AI 的基准测试中心汇集领先 AI 模型的基准成绩，包括其自行开展的评测，并用 Epoch Capabilities Index 将多项分数合并为单一通用能力量表。

谢尔盖·莱文（Sergey Levine）是研究机器人如何从数据中学习控制行为的计算机科学家。他是加州大学伯克利分校教授，也是 Physical Intelligence 的联合创始人。

阿尔伯塔大学的计算机科学系是 Chinook 跳棋项目的机构所在地，也是长期用棋类游戏检验人工智能想法的地方，培养了一批相关研究者。

美国电气工程师，编写了最早的跳棋程序之一，并在1959年的论文中提出「机器学习」一词。

DeepMind 计算机科学家，第一篇深度 Q 网络（DQN）论文的作者之一；后任 Google DeepMind 首席技术官与 Google 首席 AI 架构师，主持多代 Gemini 模型的发布。

德克·金马（Durk Kingma）是机器学习研究者，变分自编码器与 Adam 优化算法的共同作者，先后在 OpenAI、Google Brain / DeepMind 和 Anthropic 从事研究。

伊恩·古德费洛是 2014 年提出生成对抗网络的论文第一作者，该方法让生成器与判别器互相对抗训练。他先后任职于 OpenAI、Google Brain 和 Apple。

Quoc Le 是机器学习研究者，2013 年在斯坦福大学获得博士学位，是序列到序列学习、神经架构搜索和 EfficientNet 等论文的共同作者；序列到序列论文获 NeurIPS 2024 时间检验奖。

Niki Parmar 是《Attention Is All You Need》的八位作者之一，这篇 2017 年的论文提出了 Transformer 架构，Google 对这项工作的公开描述中也提到了她。

Llion Jones 是 2017 年论文《Attention Is All You Need》的八位作者之一，也是 Sakana AI 的联合创始人兼首席技术官。

Polosukhin 是 Transformer 论文作者之一、NEAR Protocol 联合创始人，2024 年署名显示他为 NEAR Foundation CEO。[^1][^3][^6]

沈向洋是计算机科学家，长期任职微软，参与创办微软亚洲研究院，后领导微软人工智能与研究事业部。他是 IEEE 会士与 ACM 会士，因计算机视觉与计算机图形学方面的工作受到认可。

王坚是阿里云创始人、中国工程院院士，曾任微软亚洲研究院执行副院长和浙江大学心理学教授，现为之江实验室主任。

斯坦福大学计算机科学系教员，基础模型研究中心（CRFM）主任，研究重点是让语言模型更开放、更可测量。

Christopher Manning 是斯坦福大学语言学与计算机科学教授、SAIL 前主任，曾任 ACL 主席，并获多项 Fellow 称号与学院成员资格。

Pieter Abbeel 是加州大学伯克利分校教授，主管伯克利机器人学习实验室，并共同主管 BAIR；曾获 ACM 计算奖和 IEEE Fellow 等荣誉。

Noam Brown 是 OpenAI 的研究科学家，研究推理、强化学习、自博弈与多智能体 AI。他因 Libratus、Pluribus 等扑克 AI，以及 CICERO 和 OpenAI o1 等推理模型相关工作而知名。

普林斯顿大学1746年以「新泽西学院」之名获得特许状，是图灵、麦卡锡、明斯基取得博士学位的地方，也是李飞飞启动 ImageNet 的地方；共有17位图灵奖得主曾在此学习或任职。

位于英格兰曼彻斯特的公立研究型大学，把 1824 年曼彻斯特机械学院的创办算作建校起点，2004 年形成现在的建制；世界上第一台电子存储程序计算机「曼彻斯特 Baby」就建在这里。

伦敦大学学院（UCL）是伦敦市中心的公立研究型大学。辛顿曾任其 Gatsby 计算神经科学研究所创始主任，哈萨比斯曾在该所做博士后，后来联合创办 DeepMind。

纽约大学是1831年获得特许状、位于纽约市格林威治村的私立研究型大学，其库朗研究所与数据科学中心使它成为机器学习研究与数据科学人才培养的重要地点。

洛桑联邦理工学院是瑞士的一所理工科大学，1853 年建校，1969 年改为现名，以教学、研究和创新为三大使命。

康奈尔大学是位于纽约州伊萨卡的私立研究型大学，创办于1865年。它也是弗兰克·罗森布拉特求学和工作的地方，知觉机这一早期学习机器、第一个神经网络正是在这里诞生。

位于慕尼黑的公立技术大学，1868年创办。Sepp Hochreiter 1991年的学位论文在这里得出最早的 LSTM 结果，Jürgen Schmidhuber 也在此求学与任教。

蒙特利尔大学是位于魁北克省蒙特利尔的一所法语公立研究型大学，1878 年建校、1919 年获自治权，今天是深度学习的重镇，也是 Yoshua Bengio 与 Mila 研究所的所在地。

清华大学是位于北京海淀的公立研究型大学，1911年以清华学堂之名创办，现为中国计算机科学与人工智能研究的重要中心，姚期智、何恺明与智谱AI等均与其相关。

张钹1935年生于福建福清，是从事自动控制与人工智能研究的学者。他在清华大学学习并任教，参与创建智能技术与系统国家重点实验室。

一个面向计算领域教育者、研究者和从业者的学会，1947 年在哥伦比亚大学成立，总部设在纽约，拥有近 11 万名会员，图灵奖也由其设立。

IBM 的第一台电子计算机，1952 年 4 月由 Thomas J. Watson 向股东宣布。它按通用计算机设计，速度约为前代机器的 25 到 50 倍，并开启了 IBM 700 系列。

霍华德·休斯医学研究所是1953年成立的私立生物医学研究机构，资助各职业阶段的科学家，并运营贾内利亚研究园区。

K 均值聚类把 n 个观测分成 k 组：反复将每个点归到最近的中心点，再用各组的均值更新中心点。方法简单、能扩展到大数据，但 k 需要事先指定。

Yoav Shoham（约阿夫·肖汉姆）是以色列裔美国计算机科学家，斯坦福大学名誉教授，也是 AI21 Labs 的联合创始人兼董事长。他发起了 AI Index 项目。

位于加州拉霍亚的公立研究型大学，1960年建校。1980年代这里的学者推动了联结主义神经网络研究，2017年后学校又陆续设立数据科学研究所与相关学院。

汤晓鸥（1968—2023）是香港中文大学信息工程学系教授、计算机视觉研究者，也是中国知名人工智能公司商汤科技的联合创始人兼董事长。

一种通过重采样和划分数据来估计模型泛化能力的验证方法：把样本切成若干折，轮流留一折作验证、其余作训练，再把多次运行的结果平均。

AAAI 是成立于 1979 年的国际性人工智能科学协会，主办被视为领域顶级会议之一的 AAAI 年会，并自 1980 年起持续出版杂志。

Dragon Systems 是 1982 年创立于马萨诸塞州牛顿市的语音识别公司，推出 DragonDictate 与 NaturallySpeaking，其产品线几经易主后归入 Nuance。

阿里·法哈迪（Ali Farhadi，1982年生）是华盛顿大学的计算机科学家，2023年至2026年担任艾伦人工智能研究所首席执行官，任内该机构完成了OLMo、Molmo与Tülu的完全开放发布。

西班牙计算机科学家，1983 年出生，共同提出序列到序列学习，领导 DeepMind 的 AlphaStar 研究小组，后任 Gemini 技术负责人，2026 年离职创办 Discovery Loop。

瑞士人工智能研究机构，1988 年由达勒·莫勒基金会创办，现为 USI 与 SUPSI 的联合研究所，以长短期记忆（LSTM）等神经网络研究闻名。

沃伊切赫·扎伦巴是波兰出身的计算机科学家，2015 年与他人共同创办 OpenAI，之后带领团队推进 GPT 模型、GitHub Copilot 和 Codex。

UCI 字母识别数据集收录了 2 万个经过随机变形的英文大写字母图像，每张图被压缩成 16 个整数属性，用来在 26 类识别任务上检验分类算法。

本田 P1 是本田 P 系列人形机器人的第一款，研制于 1993 至 1997 年的研究阶段。它高 1,915 毫米、重 175 公斤，在双足腿上加入了躯干和手臂，靠外部电源与外部计算机运行。

1993 年论文，作者 Marcus、Santorini 与 Marcinkiewicz，介绍宾夕法尼亚树库：一百多万词《华尔街日报》文本带句法括号标注。

本田 P3 是 1997 年 9 月完成的双足人形行走机器人，高 1600 毫米、重 130 千克；本田称后来的 ASIMO 是它的进一步进化版本。

微软亚洲研究院是微软在亚太地区的研究机构，1998年11月在北京成立。它研究人工智能、人机交互等方向，ResNet 论文的第一作者也曾在这里工作。

2000年以「奇点人工智能研究所」之名创立的加州非营利机构，最早把人工智能风险当作技术问题研究，如今主张在対齐问题解决之前停止研发比人更聪明的AI。

图神经网络是为图结构数据设计的一类神经网络，节点之间通过传递消息更新各自的表示。自2009年这一模型被正式提出以来，它已成为图上学习的常用方法。

旷视科技是2011年成立的中国计算机视觉公司，由三位清华毕业生创办，2012年推出人脸识别云平台Face++，是「计算机视觉四小龙」中成立最早的一家。

DNNresearch 公司是 2012 年由多伦多大学教授 Geoffrey Hinton 与两名研究生创立的初创公司，研究深度神经网络，后被 Google 收购。

一种正则化方法：训练时随机把部分神经元的输入或输出置零，阻止神经元之间形成对训练数据的复杂共适应，从而减轻过拟合。

依图科技是一家中国计算机视觉公司，2012年9月由 Zhu Long 与 Lin Chenxi 共同创立。它从计算机视觉领域起步，与 Megvii、SenseTime、CloudWalk 并称「CV四小龙」。

2013 年的论文提出 maxout 单元：输出取一组输入中的最大值，专为配合 dropout 设计，并在四个图像分类基准上取得当时最好的结果。

Graves、Mohamed 与 Hinton 于 2013 年发表的论文，考察用深度循环神经网络做语音识别，主张借助连接时序分类等方法实现端到端的序列训练。

NVIDIA Tesla K80 是 2014 年 11 月发布的双 GPU 数据中心加速卡，在一块 300 W 的板卡上集成两颗 GK210、24 GB 显存，单精度峰值最高 8.74 万亿次浮点运算每秒。

2014年的一篇论文，由Mirza与Osindero提出条件生成对抗网络：把条件数据同时输入生成器和判别器，从而按类别标签生成MNIST数字等样本。

2015 年的一篇 arXiv 论文，由 Kelvin Xu、Jimmy Ba、Ryan Kiros、Kyunghyun Cho 等人提出带视觉注意力的图像描述模型，能在生成每个词时显示自己在看图像的哪个位置。

云从科技是一家技术根基来自学术人脸识别研究的中国人工智能公司，2015年4月成立，是被称作「计算机视觉四小龙」的四家中国公司中最后成立的一家。

2016 年成立的非营利联盟，成员来自产业界、学术界、公民社会与媒体，致力于推动人工智能的负责任开发与使用。

Handle 是波士顿动力研发的一款双轮平衡机器人，用源自 Atlas 的机械臂搬运物体。公司把卡车卸货、码托盘等任务记在它名下，并表示这项研究后来催生了仓储机器人 Stretch。

向量研究所是2017年在多伦多成立的非营利人工智能研究机构，杰弗里·辛顿（Geoffrey Hinton）是其创始科学家之一。

AI Now 研究所是一家美国研究机构，2017 年与纽约大学合作成立，研究人工智能的社会影响以及科技行业的权力集中问题，并定期发布年度报告和政策建议。

组归一化是 Yuxin Wu 与 Kaiming He 在 2018 年提出的方法：把通道分组后组内计算均值和方差，不依赖批大小，以缓解批归一化在小批量下的问题。

2018 年由 Diederik P. Kingma 与 Prafulla Dhariwal 发表的论文，提出以可逆 1x1 卷积为基础的生成流模型 Glow，在标准基准上提升了对数似然，并能高效地合成与操纵大尺寸图像。

斯坦福大学以人为本人工智能研究院（HAI）成立于2019年，由李飞飞与约翰·埃奇门迪共同执掌，研究人工智能的机遇与风险，下设基础模型研究中心，并发布人工智能指数报告。

HellaSwag 是 2019 年发布的一个挑战数据集：机器要从若干候选里挑出一句事件描述最可能的后续。它的错误选项由机器生成并筛选，目标是骗过模型而不是骗过人。

文心 ERNIE 2.0 是百度提出的预训练语言模型框架，以持续多任务学习的方式不断叠加预训练任务，并在中英文多项基准上报告了超过 BERT 与 XLNet 的成绩。

Cerebras Systems 于 2019 年发布的 AI 处理器，把整片硅晶圆当作一颗芯片，容纳超过 1.2 万亿个晶体管和 40 万个核心；该系列已发展至 2024 年的 WSE-3。

MuZero 是 DeepMind 的强化学习算法，将树搜索与学习到的模型结合，在未被告知环境规则的情况下，于 Atari、围棋、国际象棋和将棋上达到超人类水平。

Meena 是 Google 的开放域聊天机器人，26 亿参数，端到端训练在过滤后的社交媒体对话上。论文提出 SSA 人工评测指标，并把下一词困惑度与人类判定的对话质量联系起来。这项工作后来更名为 LaMDA。

Epoch AI 是一家以数据为先的研究型非营利机构，研究人工智能的未来；它以系统追踪 AI 训练算力趋势、维护硬件与算力数据库、开展独立模型评测并推出 FrontierMath 基准而为人所知。

GPT-Neo 是 EleutherAI 于 2021 年 3 月发布的一组开放文本生成模型，含 125M、1.3B、2.7B 三种规模，意在复现 GPT-3 架构，权重可自由下载，采用 MIT 许可证。

Gopher 是 DeepMind 于 2021 年 12 月公布的 2800 亿参数大语言模型，同时被用来研究规模究竟能带来什么、不能带来什么。

文心 ERNIE 3.0 Titan 是一个参数规模超过 2600 亿的中文预训练语言模型，作者称其为当时最大的中文稠密预训练模型，并报告它在 68 个自然语言处理数据集上超过了此前的先进模型。

人工智能安全中心（CAIS）是2022年在旧金山成立的美国非营利组织，从事 AI 安全研究、培养安全研究者并推动安全标准，曾发起由数百名业界人士签署的 AI 灭绝风险声明。

AlphaCode 是 DeepMind 面向竞赛编程的代码生成系统，2022 年公布，在训练数据之后的 Codeforces 比赛上估计排名接近中位水平。

Flamingo 是 DeepMind 于 2022 年 4 月公布的视觉语言模型：输入可以是图像、视频和文字交错混排的提示，输出相应的语言，并能只靠几个示例学会新任务。

OPT-175B 是 Meta AI 于 2022 年 5 月公布的 1750 亿参数语言模型。Meta 称，它是同等规模中首个连同预训练模型与训练、使用代码一起发布的模型。

Gato 是 DeepMind 于 2022 年 5 月公布的通用智能体。同一套网络权重可处理文本、图像、Atari 游戏和机器人控制，目标是覆盖多种任务与具身形态。

Galactica 是 Meta AI 与 Papers with Code 于 2022 年 11 月推出的科学大语言模型。上线约三天后，Meta 撤下了公开演示，但模型仍向研究者开放。

Pythia 是 EleutherAI 发布的一套 16 个开源语言模型，规模从 7000 万到 120 亿参数，全部用同一份数据、按同样的顺序训练，每次训练公开 154 个检查点。

Google DeepMind 的生成式世界模型，110 亿参数，能根据文本、图像或草图生成可逐帧操控的虚拟世界；是首个在无标注互联网视频上训练、无需动作标签的生成式交互环境。

OpenELM 是 Apple 发布的一系列小型开放语言模型，共 270M 至 3B 四种规模，并公开了训练框架、日志、检查点以及转换为 MLX 的代码。

Cinematch 是 Netflix 自研的电影评分预测算法，预测结果以红色星星显示在网站上。它的准确度成为 Netflix Prize 的基准：谁能把它提升 10%，就能拿到 100 万美元奖金。

谢恩·莱格（Shane Legg）是新西兰人工智能研究者、DeepMind 联合创始人之一，参与推广了「通用人工智能」这一说法，并负责该公司的人工智能安全工作。

何晓东是京东集团副总裁、京东AI研究院副院长，也是IEEE Fellow。他从事对话式AI研究，涉及问答、情绪检测和公共服务热线等应用。

刘知远是清华大学长聘副教授、北京面壁智能联合创始人兼首席科学家，主张把有能力的模型做小，放到本地设备上运行。

人工智能研究者，曾任 IBM Watson Group 首席科学家、京东云与 AI 总裁，2024 年 4 月起任上海人工智能实验室主任、首席科学家。

决策树学习用分类树或回归树作为预测模型，通过反复划分数据把样本分到越来越纯的组里。它给出的是一组可以直接读出来的决策规则，是常用的监督学习方法，但容易受训练数据扰动影响，也容易过拟合。

齐夫·阿维拉姆是 Mobileye 的联合创始人之一，参与了公司从 1999 年创立、2014 年在纽约证券交易所上市到 2017 年被英特尔收购的整个过程。

Soccer Server 是一个用软件模拟足球比赛的平台，由 Itsuki Noda 等人发起，用于多智能体系统研究，后来成为 RoboCup 的官方足球服务器。

杰克·克拉克是 Anthropic 联合创始人，先后主管政策与公共福祉工作，2026 年 3 月起领导 Anthropic 研究所。他也是 GPT-3 论文的作者之一。

XRCE 计算机视觉团队参加 ImageNet 挑战赛，2011 年凭高维图像签名、乘积量化与线性 SVM 赢得分类任务；其 Fisher 向量方法在 2010 至 2014 年持续表现强劲。

唐杰是中国计算机科学家，被列为智谱 AI 的创始人之一并担任其首席科学家；他是清华大学教授，创建了学术数据库 AMiner，也是智谱 GLM 模型背后预训练方法的作者之一。

自编码器是一种无监督神经网络，它把输入压缩成低维编码再重建回来，学到的隐表示可用于降维、去噪和异常检测等任务。

孙剑是计算机视觉科学家，在微软工作13年，是 ResNet 论文的作者之一，后出任旷视首席科学家。2022年6月，他因病突然去世，享年45岁。

甘利俊一（1936 年生）是日本数理工程学家，创立信息几何学，并为机器学习与神经网络奠定理论基础，获 2025 年京都奖先进技术领域奖项。

克里斯·厄姆森是自动驾驶公司 Aurora 的联合创始人兼首席执行官，主导收购 Uber 自动驾驶部门，并推动无人驾驶商用卡车驶上公开道路。

清华大学智能产业研究院（AIR）是由张亚勤牵头筹建的产业应用型人工智能研究机构，瞄准第四次工业革命，以自动驾驶、AI 与物联网结合、类脑智能为关键技术方向。

北京通用人工智能研究院是一家非营利新型研发机构，由朱松纯担任院长，与北京大学、清华大学等合作，寻求人工智能的统一理论，以构建通用智能体。

北京大学是中国的一所大学，官网把自己的建校时间追溯到 1898 年；2020 年 9 月，学校宣布由朱松纯负责人工智能研究院。官网 2026 年 1 月的数据显示，全日制学生共 53,946 人。

中国一所大型综合性研究型大学，设有47个学院，16个学科进入国家“双一流”建设名单，在校研究生多于本科生，教职工中有36位两院院士。

张亚勤是电气工程与智能科学领域的研究者和技术管理者，在微软工作近 16 年，2014 至 2019 年任百度总裁，2019 年底加入清华大学任智能科学讲席教授。

山姆·麦坎德利什（Sam McCandlish）是 Anthropic 的联合创始人兼首席技术官，参与撰写了规模法则与 GPT-3 方面的重要论文，并担任该公司第一任「负责任扩展官」。

凯尔·沃格特是通用汽车 2016 年收购公告中列出的 Cruise Automation 创始人，该公司后来在旧金山运营无人驾驶载客服务，2023 年 10 月被加州车管局暂停许可。

加州大学洛杉矶分校是加州大学系统在洛杉矶的校区。按校方数据，全校在读学生 46,678 人，以本科生为主，多数来自加州本地，教师 5,464 人。

朱松纯是计算机视觉方向的研究者，2002年加入加州大学洛杉矶分校，2020年9月北京大学宣布由他领导该校人工智能研究院。

Redwood Research 是一家 AI 安全研究机构，与 Anthropic 等一同署名发表过关于语言模型欺骗行为的研究，涉及「潜伏代理」后门、对齐伪装，以及 AI 控制协议。

汤姆·布朗（Tom Brown）是 AI 研究者，被列为 Anthropic 联合创始人之一，也是 2020 年提出 GPT-3 的论文的第一作者。

潜在扩散论文的第一作者，该方法成为 Stable Diffusion 的基础；2024 年与 Andreas Blattmann、Patrick Esser 共同创办 Black Forest Labs，并担任 CEO。

布拉特曼是潜空间扩散论文的第二作者，也是 Stable Diffusion 3 论文共同作者，2024 年共同创办 Black Forest Labs。

帕特里克·埃瑟研究图像与视频生成模型：他是潜在扩散论文的共同作者、Stable Diffusion 3 论文的第一作者，并于 2024 年共同创办 Black Forest Labs。

王海峰是百度首席技术官，ACL 与 IEEE 会士，长期从事机器翻译与自然语言处理研究，也是文心（ERNIE）系列技术报告的第一作者。

雅各布·德夫林（Jacob Devlin）是BERT论文的第一作者，BERT是Google于2018年推出的语言模型，能结合词语两侧的上下文理解词义。