模型

Phi-1 是微软研究院发布的一个 13 亿参数的 Transformer 语言模型，专攻 Python 代码；它用经过筛选的「教科书质量」数据和合成数据说明，数据质量可以在一定程度上替代模型与数据规模。

大语言模型开源数据与数据集

PaLM 2 是 Google 于 2023 年 5 月 10 日发布的第二代 Pathways 语言模型，分为四个规模，被用于包括 Bard 在内的 25 个以上 Google 产品。

大语言模型企业软件消费级应用

StarCoder是BigCode项目于2023年5月4日发布的开放代码语言模型，约155亿参数，由Hugging Face与ServiceNow共同领导的项目推出。

大语言模型开源数据与数据集

Stable LM 是 Stability AI 于 2023 年 4 月发布的开源语言模型系列，首批为 30 亿和 70 亿参数的 alpha 版；基础模型允许商用，指令微调版本仅限研究。

大语言模型开源基础模型

RT-1 是一个控制真实机器人的变换器模型，用 13 台机器人历时 17 个月收集的超过 13 万个回合训练，在 700 多条指令上报告了 97% 的成功率。

研究史基础模型多模态

Gato 是 DeepMind 于 2022 年 5 月公布的通用智能体。同一套网络权重可处理文本、图像、Atari 游戏和机器人控制，目标是覆盖多种任务与具身形态。

研究史智能体与工具调用多模态

OPT-175B 是 Meta AI 于 2022 年 5 月公布的 1750 亿参数语言模型。Meta 称，它是同等规模中首个连同预训练模型与训练、使用代码一起发布的模型。

大语言模型研究史开源

GPT-3.5 是 OpenAI 介于 GPT-3 与 GPT-4 之间的一代语言模型，以 text-davinci-002、text-davinci-003 等 API 模型的形式发布，也是第一版 ChatGPT 的基础。

大语言模型基础模型产品史

AlphaCode 是 DeepMind 面向竞赛编程的代码生成系统，2022 年公布，在训练数据之后的 Codeforces 比赛上估计排名接近中位水平。

大语言模型研究史代码

Gopher 是 DeepMind 于 2021 年 12 月公布的 2800 亿参数大语言模型，同时被用来研究规模究竟能带来什么、不能带来什么。

大语言模型研究史欧洲 AI

NVIDIA 与微软 2021 年 10 月联合发布的 5300 亿参数语言模型，为当时最大的单体 Transformer 语言模型。

大语言模型基础模型硬件与算力

文心 ERNIE 3.0 是 2021 年公布的大规模预训练语言模型，参数量 100 亿，把纯文本与大规模知识图谱一起用于训练，并融合自回归与自编码两种网络，让同一个模型既能做语言理解也能做生成。

大语言模型研究史中国 AI

LaMDA 是 Google 在 2021 年公布的一系列对话语言模型，2022 年的论文详述了它在安全性与事实依据方面的做法，后来其轻量版驱动了 Bard。

大语言模型研究史消费级应用

OpenAI 于 2021 年发布的图像-文本模型，用约 4 亿对图文数据训练，靠把图像与文字提示逐一比对来完成分类，不需要针对具体任务的训练。

开源基础模型多模态

Meena 是 Google 的开放域聊天机器人，26 亿参数，端到端训练在过滤后的社交媒体对话上。论文提出 SSA 人工评测指标，并把下一词困惑度与人类判定的对话质量联系起来。这项工作后来更名为 LaMDA。

大语言模型研究史消费级应用

T5 是 Google 的 Transformer 语言模型系列，把所有语言任务统一成「文本输入、文本输出」。其 110 亿参数版本在多项基准上取得当时最好成绩，代码、预训练模型与 C4 数据集均公开。

大语言模型开源基础模型

文心 ERNIE 2.0 是百度提出的预训练语言模型框架，以持续多任务学习的方式不断叠加预训练任务，并在中英文多项基准上报告了超过 BERT 与 XLNet 的成绩。

大语言模型研究史开源

百度于 2019 年 3 月发布的第一代 ERNIE 预训练语言模型，在 BERT 的掩码预训练基础上加入实体级和短语级掩码，并在五项中文 NLP 任务上报告了当时最好的成绩。

大语言模型研究史开源