研究史 模型

IBM 研制的国际象棋计算机，1997 年 5 月在标准比赛时限下击败在位世界冠军，成为第一台做到这一点的计算机系统。

IBM Watson 是 IBM 研发的问答计算机系统，由 David Ferrucci 领导团队开发；2011 年 2 月它在电视问答节目《Jeopardy!》中击败了该节目历史上最强的两位冠军。

AlphaGo 是 DeepMind 开发的围棋程序，把深度神经网络与蒙特卡洛树搜索结合起来。2016 年它战胜顶尖职业棋手李世石，比赛吸引大量观众，成为学习型系统能力的一个标志性事件。

BERT 是 Google 的双向语言模型，通过遮盖部分词再还原的方式预训练，微调后在问答和语言理解基准上刷新成绩，并被用于 Google 搜索。

GPT-3 是一个拥有 1750 亿参数的自回归语言模型，相关论文发表于2020年5月。它能在提示词中仅凭少量示例完成新任务，无需梯度更新，最初通过 OpenAI 的 API 提供。

RoseTTAFold 是贝克实验室 2021 年发表的三轨神经网络蛋白质结构预测方法，在 CASP14 上精度接近 AlphaFold2，能仅凭序列预测蛋白质复合物，代码公开并配有公共服务器。

InstructGPT 是一组经过人类反馈强化学习训练、能遵循用户指令的 GPT-3 模型。OpenAI 于2022年1月宣布该成果，并将其设为 API 的默认语言模型。

RT-1 是一个控制真实机器人的变换器模型，用 13 台机器人历时 17 个月收集的超过 13 万个回合训练，在 700 多条指令上报告了 97% 的成功率。

AlexNet 是一个八层卷积神经网络，在 ILSVRC2012 图像分类任务中以明显优势夺冠，证明用 GPU 在大型标注数据集上训练的大网络可以胜过手工设计特征的方法。

DeepMind 提出的强化学习智能体，把 Q 学习与卷积神经网络结合，直接从原始像素学会玩雅达利 2600 游戏，在数十款游戏上达到人类水平，且事先不知道游戏规则。

DeepMind 提出的原始音频生成模型，逐个采样点预测波形，把神经语音合成的自然度大幅拉近人类水平，后来成为 Google Assistant 与云端语音合成的基础。

DeepMind 开发的围棋程序，不用人类棋谱，只靠自我对弈从随机下法起步学会围棋，几天之内就击败了此前版本的 AlphaGo。

AlphaZero 是 DeepMind 研发的通用棋类系统，2017 年 12 月以预印本形式公布。它只被给定规则，从随机走子开始，在 24 小时内于国际象棋、将棋和围棋上都达到了超越人类的水平。

OpenAI Five 是 OpenAI 用强化学习训练的五人《Dota 2》机器人队伍，2019 年 4 月在旧金山以三局两胜击败当届世界冠军 OG。

GPT-1 是 OpenAI 的第一代生成式预训练 Transformer，发布于 2018年6月。它表明，先用无标注文本预训练、再针对具体任务微调的同一个语言模型，能够改进多项语言任务的结果。

DeepMind 研发的第一代蛋白质结构预测系统，2018 年在 CASP13 盲测中综合排名第一，做法是估计残基间距离的概率分布，而不只依赖接触图。

AlphaStar 是 DeepMind 开发的《星际争霸 II》AI。2019 年它在三个种族上都达到宗师水平，在 Battle.net 活跃玩家中排名超过 99.8%。

百度于 2019 年 3 月发布的第一代 ERNIE 预训练语言模型，在 BERT 的掩码预训练基础上加入实体级和短语级掩码，并在五项中文 NLP 任务上报告了当时最好的成绩。

AlphaFold2 是 DeepMind 于 2020 年公布的蛋白质结构预测系统，在多数情况下达到与实验结构相当的精度；相关领域的工作获得 2024 年诺贝尔化学奖的一半奖项。

LaMDA 是 Google 在 2021 年公布的一系列对话语言模型，2022 年的论文详述了它在安全性与事实依据方面的做法，后来其轻量版驱动了 Bard。

GPT-J-6B 是 EleutherAI 于 2021 年 6 月发布的约 60 亿参数开源语言模型，以 Apache 2.0 许可开放，公开基准成绩接近 GPT-3 Curie，是当时最大的开源类 GPT-3 模型。

文心 ERNIE 3.0 是 2021 年公布的大规模预训练语言模型，参数量 100 亿，把纯文本与大规模知识图谱一起用于训练，并融合自回归与自编码两种网络，让同一个模型既能做语言理解也能做生成。

OpenAI Codex 是2021年发布的 GPT 语言模型，在 GitHub 的公开代码上微调而成，能把自然语言翻译成代码，并随 HumanEval 基准测试一同提出。

GPT-NeoX-20B 是 EleutherAI 于 2022 年 2 月发布的 200 亿参数开放语言模型，权重以 Apache 2.0 协议公开，训练与评测代码一并开源。

PaLM 是 Google Research 于 2022 年 4 月发布的 5400 亿参数语言模型，在 6144 块 TPU v4 上训练，多项基准成绩优于此前模型。

Imagen 是 Google Research 于 2022 年 5 月发布的文本到图像扩散模型，它把冻结的大语言模型与扩散模型结合，并提出了 DrawBench 基准；Google 未公开发布其代码或演示。

BLOOM是BigScience项目于2022年7月12日发布的1760亿参数开放多语言大语言模型，权重依据负责任使用的RAIL许可证提供。

GLM-130B 是清华大学 KEG 实验室与智谱 AI 联合发布的 1300 亿参数开源中英双语稠密语言模型，目标是在千亿参数规模上做出一个不输 GPT-3 的开放模型。

OLMo 是艾伦人工智能研究所（Ai2）的开放语言模型，2024 年 2 月 1 日以 1B 和 7B 两种规模发布，连同 Dolma 训练数据、训练代码、日志和检查点，全部采用 Apache 2.0 许可。

EvoLLM-JP 是 Sakana AI 用进化搜索融合多个开源模型得到的日语模型，不靠从头训练；7B 版本在数学能力上超过了它的三个来源模型各自单独的水平。

Jamba 由 AI21 Labs 于2024年3月28日发布，是一个开放权重模型，把 Mamba 状态空间层与 Transformer 注意力层组合在一起，总参数 520 亿，上下文窗口为 25.6 万词元。

文心 ERNIE 2.0 是百度提出的预训练语言模型框架，以持续多任务学习的方式不断叠加预训练任务，并在中英文多项基准上报告了超过 BERT 与 XLNet 的成绩。

MuZero 是 DeepMind 的强化学习算法，将树搜索与学习到的模型结合，在未被告知环境规则的情况下，于 Atari、围棋、国际象棋和将棋上达到超人类水平。

Meena 是 Google 的开放域聊天机器人，26 亿参数，端到端训练在过滤后的社交媒体对话上。论文提出 SSA 人工评测指标，并把下一词困惑度与人类判定的对话质量联系起来。这项工作后来更名为 LaMDA。

GPT-Neo 是 EleutherAI 于 2021 年 3 月发布的一组开放文本生成模型，含 125M、1.3B、2.7B 三种规模，意在复现 GPT-3 架构，权重可自由下载，采用 MIT 许可证。

Gopher 是 DeepMind 于 2021 年 12 月公布的 2800 亿参数大语言模型，同时被用来研究规模究竟能带来什么、不能带来什么。

文心 ERNIE 3.0 Titan 是一个参数规模超过 2600 亿的中文预训练语言模型，作者称其为当时最大的中文稠密预训练模型，并报告它在 68 个自然语言处理数据集上超过了此前的先进模型。

AlphaCode 是 DeepMind 面向竞赛编程的代码生成系统，2022 年公布，在训练数据之后的 Codeforces 比赛上估计排名接近中位水平。

Flamingo 是 DeepMind 于 2022 年 4 月公布的视觉语言模型：输入可以是图像、视频和文字交错混排的提示，输出相应的语言，并能只靠几个示例学会新任务。

OPT-175B 是 Meta AI 于 2022 年 5 月公布的 1750 亿参数语言模型。Meta 称，它是同等规模中首个连同预训练模型与训练、使用代码一起发布的模型。

Gato 是 DeepMind 于 2022 年 5 月公布的通用智能体。同一套网络权重可处理文本、图像、Atari 游戏和机器人控制，目标是覆盖多种任务与具身形态。

Galactica 是 Meta AI 与 Papers with Code 于 2022 年 11 月推出的科学大语言模型。上线约三天后，Meta 撤下了公开演示，但模型仍向研究者开放。

Pythia 是 EleutherAI 发布的一套 16 个开源语言模型，规模从 7000 万到 120 亿参数，全部用同一份数据、按同样的顺序训练，每次训练公开 154 个检查点。

Google DeepMind 的生成式世界模型，110 亿参数，能根据文本、图像或草图生成可逐帧操控的虚拟世界；是首个在无标注互联网视频上训练、无需动作标签的生成式交互环境。

OpenELM 是 Apple 发布的一系列小型开放语言模型，共 270M 至 3B 四种规模，并公开了训练框架、日志、检查点以及转换为 MLX 的代码。