《Llama 3 模型群》

一群模型，而不是一个模型

《Llama 3 模型群》由 Meta AI 的 Llama 团队署名，首页标注的日期是 2024 年 7 月 23 日，并在 2024 年 7 月 31 日首次提交到 arXiv，编号 2407.21783^[1]。标题里的「群」（herd）是刻意的：论文把 Llama 3 描述为一组基础模型，它们都原生支持多语言、编程、推理和工具使用^[1]。「原生」是这句话的重点——这些能力在训练过程中形成，而不是先做出一个只能处理文本的模型、再往外面挂功能。

三个规模，一套流程

这一群里包含三个语言模型，参数量分别为 80 亿（8B）、700 亿（70B）和 4050 亿（405B）^[1]。其中最大的是一个稠密（dense）Transformer，参数量 4050 亿，上下文窗口最多 128K 个 token^[1]。「稠密」是相对于稀疏的混合专家结构而言：处理每个 token 时，全部参数都参与计算。上下文窗口指模型一次能看住多少文本，128K 个 token 已经足够装下一整份长篇文档，而不是几页纸。

预训练的规模体现在数字上。语料约 15 万亿个多语言 token，而 Llama 2 是 1.8 万亿^[1]。算力同步增长：旗舰模型预训练用了 3.8 × 10^25 FLOPs（浮点运算次数，衡量训练算力的常用单位），几乎是最大的 Llama 2 模型的 50 倍^[1]。

后训练：把基座变成助手

只在大规模文本上预训练，得到的是一个会接着往下写、但还不太会好好回答问题的模型。论文的后训练阶段把三种方法结合起来：监督微调（supervised fine-tuning）、拒绝采样（rejection sampling）和直接偏好优化（direct preference optimization，DPO）^[1]。监督微调是在整理好的示例对话上训练；拒绝采样让模型对同一个问题生成若干候选答案，筛选之后把合格的答案再拿去训练；直接偏好优化则用成对的「较好」「较差」回答，把模型往人更偏好的方向调整，不需要另外训练一个奖励模型。三步叠起来，模型先看到好答案长什么样，再在自己的筛选结果上练，最后按人的偏好微调。

结果与发布

论文报告，在广泛的任务上，Llama 3 的质量与 GPT-4 等领先语言模型相当^[1]。这是论文自己给出的对比结论，也是被引用最多的一句。

发布的东西和测出来的东西同样重要。Meta 公开了 405B 模型的预训练版本和后训练版本，以及用于输入与输出安全的 Llama Guard 3^[1]。两个版本一起放出，意味着使用者既可以从原始基座出发，也可以直接用调好的助手，安全工具也随之一同提供，而不是事后补上。

文本之外

论文还报告了把图像、视频和语音能力加进 Llama 3 的实验，采用的是一种组合式（compositional）的做法^[1]。论文同时说明，这些模型尚未广泛发布，因为仍在开发之中^[1]。换句话说，这份文档记录的范围比实际分发的范围要宽：文本模型是论文既测量又交出的部分，多模态的工作则被写明仍在推进。