Transformer 与注意力

注意力机制衡量序列中每个元素相对于其他元素的重要程度并给出权重，使模型能直接读取输入的任意位置。它是 transformer 的核心运算。

注意力机制让神经网络按相关程度为输入各部分分配权重。自注意力（self-attention）将其用于序列内部，是 Transformer 的核心运算。

Bahdanau、Cho 与 Bengio 2014 年的这篇论文让翻译模型在生成每个词时回看整个源句，这一注意力（attention）机制后来成为 Transformer 的基础之一。

2017 年提出 Transformer 的论文。这一完全基于注意力、不使用循环结构的神经网络在机器翻译上刷新了当时的最好成绩，此后几乎所有大语言模型都以它为基础架构。

Transformer 是2017年提出的神经网络架构，用自注意力取代了循环和卷积结构，今天大多数大语言模型都以它为基础。

OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。

BERT 是 Google 的双向语言模型，通过遮盖部分词再还原的方式预训练，微调后在问答和语言理解基准上刷新成绩，并被用于 Google 搜索。

Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。

GPT-3 是一个拥有 1750 亿参数的自回归语言模型，相关论文发表于2020年5月。它能在提示词中仅凭少量示例完成新任务，无需梯度更新，最初通过 OpenAI 的 API 提供。

这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。

NVIDIA H100 是首款基于 Hopper 架构的数据中心 GPU，2022 年 3 月发布，为训练和运行大模型设计，使用 HBM3 显存与 FP8 精度。

RT-1 是一个控制真实机器人的变换器模型，用 13 台机器人历时 17 个月收集的超过 13 万个回合训练，在 700 多条指令上报告了 97% 的成功率。

Llama 3.1 于 2024 年 7 月 23 日发布，在 Llama 3 系列中加入了 4050 亿参数的模型，并把上下文扩展到 12.8 万个词元。Meta 称，这是目前最强、可公开获取的基础模型。

多模态模型在同一个模型里处理不止一种输入或输出，例如图像和文本。CLIP 与 Flamingo 这两项工作展示了这类模型怎样训练出来，又怎样靠文字提示迁移到新任务。

分词（tokenization）把文本切成语言模型真正处理的词元；今天多数系统用字节对编码（BPE）实现，这一 1994 年的压缩算法在 2015 年被引入机器翻译。

谷歌的研究部门，位于山景城，通常以 2000 年为成立年份，提出了 Transformer、BERT 与 T5，这些工作构成了现代大语言模型的基础。

谷歌大脑是谷歌 2011 年启动的深度学习团队，以神经网络识别猫闻名，贡献了 TensorFlow 与 Transformer，2023 年并入 Google DeepMind。

NVIDIA 于 2016 年 4 月发布的 Tesla P100 是首款基于 Pascal 架构的数据中心 GPU，也是第一个同时用上 HBM2 堆叠显存、面向深度学习的半精度指令和 NVLink 互联的加速卡。

2016 年的一篇论文，介绍谷歌的神经机器翻译系统 GNMT：8 层编码器加 8 层解码器的深层 LSTM，配注意力与残差连接，并从子词单元、并行度和低精度计算入手解决实际问题。

序列模型（尤其是 Transformer）的组成部分，把每个词元的位置编码成向量，让本身不分先后的注意力感知顺序；形式从原版 Transformer 的正弦编码一直到 RoPE、ALiBi。

GPT-1 是 OpenAI 的第一代生成式预训练 Transformer，发布于 2018年6月。它表明，先用无标注文本预训练、再针对具体任务微调的同一个语言模型，能够改进多项语言任务的结果。

GPT-2 是 OpenAI 于2019年2月宣布的大型语言模型，最大版本有 15 亿参数。OpenAI 起初没有公开完整模型，随后分阶段发布，直到2019年11月才发布完整版本。

百度于 2019 年 3 月发布的第一代 ERNIE 预训练语言模型，在 BERT 的掩码预训练基础上加入实体级和短语级掩码，并在五项中文 NLP 任务上报告了当时最好的成绩。

T5 是 Google 的 Transformer 语言模型系列，把所有语言任务统一成「文本输入、文本输出」。其 110 亿参数版本在多项基准上取得当时最好成绩，代码、预训练模型与 C4 数据集均公开。

2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。

DALL·E 是 OpenAI 于 2021 年 1 月 5 日公布的文本生成图像模型，用 120 亿参数和 2.5 亿对图文数据训练，按文字描述逐个图像词元生成图片。

OpenAI 于 2021 年发布的图像-文本模型，用约 4 亿对图文数据训练，靠把图像与文字提示逐一比对来完成分类，不需要针对具体任务的训练。

LaMDA 是 Google 在 2021 年公布的一系列对话语言模型，2022 年的论文详述了它在安全性与事实依据方面的做法，后来其轻量版驱动了 Bard。

文心 ERNIE 3.0 是 2021 年公布的大规模预训练语言模型，参数量 100 亿，把纯文本与大规模知识图谱一起用于训练，并融合自回归与自编码两种网络，让同一个模型既能做语言理解也能做生成。

PaLM 是 Google Research 于 2022 年 4 月发布的 5400 亿参数语言模型，在 6144 块 TPU v4 上训练，多项基准成绩优于此前模型。

2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。

PaLM 2 是 Google 于 2023 年 5 月 10 日发布的第二代 Pathways 语言模型，分为四个规模，被用于包括 Bard 在内的 25 个以上 Google 产品。

Mistral AI 的第一个模型：2023 年 9 月以 Apache 2.0 许可发布的 73 亿参数语言模型，主打用小体量对标大得多的模型。

Grok-1 是 xAI 的首个大语言模型，2023 年 11 月 3 日作为 Grok 聊天助手的引擎公布，其 3140 亿参数的权重于 2024 年 3 月开放。

Gemma 是 Google DeepMind 于 2024 年 2 月发布的轻量级开放模型系列，有 2B 和 7B 两个规模，技术与 Gemini 同源，并按 Google 的使用条款开放商用。

Stable Diffusion 3 由 Stability AI 于2024年2月22日预览发布，是一组参数从8亿到80亿不等的模型，结合了扩散 Transformer 与流匹配（flow matching）。

Llama 3 是 Meta 于 2024 年 4 月 18 日发布的开放模型系列，有 80 亿和 700 亿参数两种规格。它在超过 15 万亿个公开来源的词元上完成预训练。

Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。

OpenVLA 是一个 70 亿参数的开源视觉-语言-动作模型，在 97 万条真实机器人演示上训练，权重、代码与微调工具一并公开，让其他团队能在自己的机器人上微调和部署。

Falcon-H1 是 Falcon 系列的一组开放权重语言模型，把 Transformer 注意力与状态空间模型并行组合，参数规模从 0.5B 到 34B，权重以 Falcon-LLM Licence 发布。

键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。

长上下文指模型一次能接收并加以利用的大量输入，如今可达数百万词元；但窗口大不等于用得好，能否在长输入中准确定位信息是另一回事。

诺姆·沙泽尔（Noam Shazeer）是《Attention Is All You Need》的第二作者。他2024年回到Google，2026年宣布加入OpenAI。

上下文窗口（context window）是模型生成回答时能够参照的全部文本，以 token 计量，回答本身也计入其中。窗口的大小，以及模型能否均匀地用上窗口内容，共同决定了它实际能做什么。

机制可解释性通过寻找产生行为的内部计算与特征来解释模型，而不是只从外部测试输入输出。关于叠加与稀疏自编码器的研究，展示了少量神经元如何容纳大量特征。

Llion Jones 是 2017 年论文《Attention Is All You Need》的八位作者之一，也是 Sakana AI 的联合创始人兼首席技术官。

Transformers是Hugging Face的开源Python库，通过统一的接口提供预训练的Transformer模型。其论文于2019年10月9日发布在arXiv上。

艾丹·戈麦斯是加拿大计算机科学家，Cohere 的联合创始人兼首席执行官，也是 2017 年提出 Transformer 架构的论文的八位作者之一。

阿希什·瓦斯瓦尼（Ashish Vaswani）是论文《Attention Is All You Need》的第一作者，该论文提出了Transformer架构。他还共同创办了Essential AI。

Niki Parmar 是《Attention Is All You Need》的八位作者之一，这篇 2017 年的论文提出了 Transformer 架构，Google 对这项工作的公开描述中也提到了她。

Jakob Uszkoreit 是《Attention Is All You Need》的八位作者之一，也是 Inceptive 的创始人；该公司致力于用人工智能设计生物分子。[^1][^4]

Polosukhin 是 Transformer 论文作者之一、NEAR Protocol 联合创始人，2024 年署名显示他为 NEAR Foundation CEO。[^1][^3][^6]

文心 ERNIE 2.0 是百度提出的预训练语言模型框架，以持续多任务学习的方式不断叠加预训练任务，并在中英文多项基准上报告了超过 BERT 与 XLNet 的成绩。

Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。

Meena 是 Google 的开放域聊天机器人，26 亿参数，端到端训练在过滤后的社交媒体对话上。论文提出 SSA 人工评测指标，并把下一词困惑度与人类判定的对话质量联系起来。这项工作后来更名为 LaMDA。

NVIDIA 与微软 2021 年 10 月联合发布的 5300 亿参数语言模型，为当时最大的单体 Transformer 语言模型。

Gopher 是 DeepMind 于 2021 年 12 月公布的 2800 亿参数大语言模型，同时被用来研究规模究竟能带来什么、不能带来什么。

AlphaCode 是 DeepMind 面向竞赛编程的代码生成系统，2022 年公布，在训练数据之后的 Codeforces 比赛上估计排名接近中位水平。

OPT-175B 是 Meta AI 于 2022 年 5 月公布的 1750 亿参数语言模型。Meta 称，它是同等规模中首个连同预训练模型与训练、使用代码一起发布的模型。

推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。

Stable LM 是 Stability AI 于 2023 年 4 月发布的开源语言模型系列，首批为 30 亿和 70 亿参数的 alpha 版；基础模型允许商用，指令微调版本仅限研究。

RT-2 是 Google DeepMind 2023 年 7 月 28 日公布的视觉-语言-动作模型，把图像和文字指令转成机器人动作，陌生场景成功率从 32% 升至 62%。

Stability AI 于 2024 年 10 月推出的文生图模型系列：81 亿参数的 Large、4 步出图的 Large Turbo 和 25 亿参数的 Medium，按社区许可发布。

托马斯·沃尔夫是 Hugging Face 的联合创始人兼首席科学官，也是 2019 年那篇向研究者和实践者介绍该公司开源 Transformers 库的论文的第一作者。

雅各布·德夫林（Jacob Devlin）是BERT论文的第一作者，BERT是Google于2018年推出的语言模型，能结合词语两侧的上下文理解词义。