深度学习 模型

AlphaGo 是 DeepMind 开发的围棋程序，把深度神经网络与蒙特卡洛树搜索结合起来。2016 年它战胜顶尖职业棋手李世石，比赛吸引大量观众，成为学习型系统能力的一个标志性事件。

BERT 是 Google 的双向语言模型，通过遮盖部分词再还原的方式预训练，微调后在问答和语言理解基准上刷新成绩，并被用于 Google 搜索。

GPT-3 是一个拥有 1750 亿参数的自回归语言模型，相关论文发表于2020年5月。它能在提示词中仅凭少量示例完成新任务，无需梯度更新，最初通过 OpenAI 的 API 提供。

RoseTTAFold 是贝克实验室 2021 年发表的三轨神经网络蛋白质结构预测方法，在 CASP14 上精度接近 AlphaFold2，能仅凭序列预测蛋白质复合物，代码公开并配有公共服务器。

RT-1 是一个控制真实机器人的变换器模型，用 13 台机器人历时 17 个月收集的超过 13 万个回合训练，在 700 多条指令上报告了 97% 的成功率。

AlphaFold 3 是 DeepMind 于 2024 年 5 月发布的结构预测模型，可预测蛋白质、DNA、RNA、配体等分子的结构与相互作用。[^1]

Llama 3.1 于 2024 年 7 月 23 日发布，在 Llama 3 系列中加入了 4050 亿参数的模型，并把上下文扩展到 12.8 万个词元。Meta 称，这是目前最强、可公开获取的基础模型。

π0 是 Physical Intelligence 发布的通用机器人策略，从 30 亿参数的视觉语言模型改造而来，用流匹配输出连续动作，能以每秒最多 50 次的频率驱动机器人完成灵巧操作。

AlexNet 是一个八层卷积神经网络，在 ILSVRC2012 图像分类任务中以明显优势夺冠，证明用 GPU 在大型标注数据集上训练的大网络可以胜过手工设计特征的方法。

DeepMind 提出的强化学习智能体，把 Q 学习与卷积神经网络结合，直接从原始像素学会玩雅达利 2600 游戏，在数十款游戏上达到人类水平，且事先不知道游戏规则。

DeepMind 提出的原始音频生成模型，逐个采样点预测波形，把神经语音合成的自然度大幅拉近人类水平，后来成为 Google Assistant 与云端语音合成的基础。

DeepMind 开发的围棋程序，不用人类棋谱，只靠自我对弈从随机下法起步学会围棋，几天之内就击败了此前版本的 AlphaGo。

AlphaZero 是 DeepMind 研发的通用棋类系统，2017 年 12 月以预印本形式公布。它只被给定规则，从随机走子开始，在 24 小时内于国际象棋、将棋和围棋上都达到了超越人类的水平。

OpenAI Five 是 OpenAI 用强化学习训练的五人《Dota 2》机器人队伍，2019 年 4 月在旧金山以三局两胜击败当届世界冠军 OG。

GPT-1 是 OpenAI 的第一代生成式预训练 Transformer，发布于 2018年6月。它表明，先用无标注文本预训练、再针对具体任务微调的同一个语言模型，能够改进多项语言任务的结果。

DeepMind 研发的第一代蛋白质结构预测系统，2018 年在 CASP13 盲测中综合排名第一，做法是估计残基间距离的概率分布，而不只依赖接触图。

AlphaStar 是 DeepMind 开发的《星际争霸 II》AI。2019 年它在三个种族上都达到宗师水平，在 Battle.net 活跃玩家中排名超过 99.8%。

GPT-2 是 OpenAI 于2019年2月宣布的大型语言模型，最大版本有 15 亿参数。OpenAI 起初没有公开完整模型，随后分阶段发布，直到2019年11月才发布完整版本。

百度于 2019 年 3 月发布的第一代 ERNIE 预训练语言模型，在 BERT 的掩码预训练基础上加入实体级和短语级掩码，并在五项中文 NLP 任务上报告了当时最好的成绩。

T5 是 Google 的 Transformer 语言模型系列，把所有语言任务统一成「文本输入、文本输出」。其 110 亿参数版本在多项基准上取得当时最好成绩，代码、预训练模型与 C4 数据集均公开。

AlphaFold2 是 DeepMind 于 2020 年公布的蛋白质结构预测系统，在多数情况下达到与实验结构相当的精度；相关领域的工作获得 2024 年诺贝尔化学奖的一半奖项。

OpenAI 于 2021 年发布的图像-文本模型，用约 4 亿对图文数据训练，靠把图像与文字提示逐一比对来完成分类，不需要针对具体任务的训练。

DALL·E 是 OpenAI 于 2021 年 1 月 5 日公布的文本生成图像模型，用 120 亿参数和 2.5 亿对图文数据训练，按文字描述逐个图像词元生成图片。

LaMDA 是 Google 在 2021 年公布的一系列对话语言模型，2022 年的论文详述了它在安全性与事实依据方面的做法，后来其轻量版驱动了 Bard。

文心 ERNIE 3.0 是 2021 年公布的大规模预训练语言模型，参数量 100 亿，把纯文本与大规模知识图谱一起用于训练，并融合自回归与自编码两种网络，让同一个模型既能做语言理解也能做生成。

PaLM 是 Google Research 于 2022 年 4 月发布的 5400 亿参数语言模型，在 6144 块 TPU v4 上训练，多项基准成绩优于此前模型。

Whisper 是 OpenAI 开源的语音识别系统，2022 年 9 月发布，训练数据达 68 万小时，可转写多语言语音并翻译成英文。

Segment Anything 模型（SAM）是 Meta AI 于 2023 年 4 月发布的可提示图像分割模型。给它一个点、框或掩码，它就能圈出对应的物体。

PaLM 2 是 Google 于 2023 年 5 月 10 日发布的第二代 Pathways 语言模型，分为四个规模，被用于包括 Bard 在内的 25 个以上 Google 产品。

盘古气象大模型是用三维深度网络做全球中期天气预报的模型，论文于2023年发表在《自然》；在再分析数据上，它在所有测试变量上的确定性预报都强于欧洲中期天气预报中心的业务系统。

Mistral AI 的第一个模型：2023 年 9 月以 Apache 2.0 许可发布的 73 亿参数语言模型，主打用小体量对标大得多的模型。

Grok-1 是 xAI 的首个大语言模型，2023 年 11 月 3 日作为 Grok 聊天助手的引擎公布，其 3140 亿参数的权重于 2024 年 3 月开放。

FunSearch 是一种把预训练大语言模型放进进化循环、去搜索「解题程序」而不是「答案」的方法，在 cap set 问题与在线装箱问题上给出了超越已知基线的新结果。

Gemma 是 Google DeepMind 于 2024 年 2 月发布的轻量级开放模型系列，有 2B 和 7B 两个规模，技术与 Gemini 同源，并按 Google 的使用条款开放商用。

Stable Diffusion 3 由 Stability AI 于2024年2月22日预览发布，是一组参数从8亿到80亿不等的模型，结合了扩散 Transformer 与流匹配（flow matching）。

Llama 3 是 Meta 于 2024 年 4 月 18 日发布的开放模型系列，有 80 亿和 700 亿参数两种规格。它在超过 15 万亿个公开来源的词元上完成预训练。

OpenVLA 是一个 70 亿参数的开源视觉-语言-动作模型，在 97 万条真实机器人演示上训练，权重、代码与微调工具一并公开，让其他团队能在自己的机器人上微调和部署。

Helix 是 Figure 2025 年 2 月发布的人形机器人视觉-语言-动作模型，分两个速度层，用约 500 小时遥操作数据训练，全部在本机 GPU 运行。

π0.5 是 Physical Intelligence 于 2025 年 4 月发布的视觉-语言-动作模型，主打开放环境泛化，通过混合多种异构数据共同训练，能让移动机器人整理从未见过的房间。

Falcon-H1 是 Falcon 系列的一组开放权重语言模型，把 Transformer 注意力与状态空间模型并行组合，参数规模从 0.5B 到 34B，权重以 Falcon-LLM Licence 发布。

Aurora 是一个面向地球系统的基础模型，用超过 100 万小时的地球物理数据训练，在天气、空气质量、海浪和热带气旋路径预报上优于业务预报，计算成本低几个数量级。

文心 ERNIE 2.0 是百度提出的预训练语言模型框架，以持续多任务学习的方式不断叠加预训练任务，并在中英文多项基准上报告了超过 BERT 与 XLNet 的成绩。

MuZero 是 DeepMind 的强化学习算法，将树搜索与学习到的模型结合，在未被告知环境规则的情况下，于 Atari、围棋、国际象棋和将棋上达到超人类水平。

Meena 是 Google 的开放域聊天机器人，26 亿参数，端到端训练在过滤后的社交媒体对话上。论文提出 SSA 人工评测指标，并把下一词困惑度与人类判定的对话质量联系起来。这项工作后来更名为 LaMDA。

NVIDIA 与微软 2021 年 10 月联合发布的 5300 亿参数语言模型，为当时最大的单体 Transformer 语言模型。

Gopher 是 DeepMind 于 2021 年 12 月公布的 2800 亿参数大语言模型，同时被用来研究规模究竟能带来什么、不能带来什么。

AlphaCode 是 DeepMind 面向竞赛编程的代码生成系统，2022 年公布，在训练数据之后的 Codeforces 比赛上估计排名接近中位水平。

OPT-175B 是 Meta AI 于 2022 年 5 月公布的 1750 亿参数语言模型。Meta 称，它是同等规模中首个连同预训练模型与训练、使用代码一起发布的模型。

Stable LM 是 Stability AI 于 2023 年 4 月发布的开源语言模型系列，首批为 30 亿和 70 亿参数的 alpha 版；基础模型允许商用，指令微调版本仅限研究。

RT-2 是 Google DeepMind 2023 年 7 月 28 日公布的视觉-语言-动作模型，把图像和文字指令转成机器人动作，陌生场景成功率从 32% 升至 62%。

GraphCast 是 Google DeepMind 的机器学习天气预报模型，能在单台 TPU 上不到一分钟生成 10 天全球预报，并在多数测试变量上优于 ECMWF 的 HRES。

GNoME 是 Google DeepMind 于 2023 年 11 月 29 日公布的深度学习工具，用于预测新型无机晶体；它给出 220 万个候选晶体，其中 38 万个被预测为最稳定。

DeepSeekMoE 是 DeepSeek 在 2024 年 1 月发布的混合专家架构，通过细粒度专家分割与共享专家隔离，让每个专家掌握更聚焦的知识。其 16B 开源模型以远低于同类模型的计算量取得了相当的表现。

Octo 是一个开源的通用机器人策略，用 80 万条机器人轨迹训练的基于 Transformer 的扩散模型，可以直接控制多种机器人，并能高效微调到新的机器人配置。

Stability AI 于 2024 年 10 月推出的文生图模型系列：81 亿参数的 Large、4 步出图的 Large Turbo 和 25 亿参数的 Medium，按社区许可发布。

Skild Brain 是 Skild AI 开发的通用机器人基础模型，在包含 10 万台不同机器人的虚拟环境中训练，可装配到现有机器人硬件上，而不是为单一任务专门设计。

Qwen3-Next 是阿里巴巴通义千问团队2025年9月以 Apache 2.0 许可证开源的模型，总参数 800 亿、每个词元仅激活 30 亿，其混合架构后来被用于 Qwen3.5。

Ai2 于 2026 年 3 月 5 日发布的全开放 7B 模型，把 Transformer 注意力与门控 DeltaNet 线性循环层混合堆叠，以少 49% 的训练 token 达到 Olmo 3 7B 的 MMLU 准确率。