《LLaMA：开放高效的基础语言模型》

要解决的问题 2023 年 2 月 27 日，Hugo Touvron、Thibaut Lavril、Gautier Izacard 与另外 11 位 Meta AI 作者把 LLaMA 论文提交到 arXiv。论文的核心主张是：可以仅使用公开可获取的数据集，而不依赖专有且无法获取的数据集，训练出最先进的基础语言模型（foundation language model）^[1]。这个问题关系到研究社区能否复现、检查和继续使用模型，因为训练数据和模型获取条件会直接影响谁能参与这项工作。作者给出的 LLaMA 是一个基础语言模型集合，参数规模从 7B 到 65B，训练使用了数万亿词元（token）^[1]。

做了什么 LLaMA 不是单个模型，而是一个模型系列。它的规模从 7B 到 65B 参数；B 表示十亿，因此范围大致是从 70 亿到 650 亿个可学习的数值设置。模型在数万亿词元上训练，词元是文本被切分后的小块，可能是一个词，也可能是词的一部分。论文明确说，这些模型只使用公开可获取的数据集训练^[1]。因此，这项工作同时关心模型能力和数据开放性：模型要有竞争力，但训练数据不应被锁在专有且无法获取的渠道里。

训练规模 论文给出了最大模型所需计算量的具体例子。训练 65B 模型时，在 2048 块显存为 80GB 的 A100 GPU 上，每块 GPU 每秒处理约 380 个词元；按这个速度，处理 1.4 万亿词元的一次训练运行大约需要 21 天^[1]。这些数字描述的是一次训练运行，说明这项工作的规模：数千块加速器同时工作数周，处理极大量的文本。吞吐量、GPU 数量和总词元数放在一起，读者可以理解训练时间是如何由处理速度和数据量共同决定的，而不是把它当成对整个模型系列的统一描述。

结果 LLaMA-13B 在多数基准测试（benchmark）上超过 GPT-3，后者有 175B 参数。LLaMA-65B 则与论文提到的最强模型 Chinchilla-70B 和 PaLM-540B 具有竞争力^[1]。这些比较的关键在于参数规模：13B 模型远小于 GPT-3，65B 模型也小于 PaLM-540B。论文报告的是 13B 模型在多数基准上胜出，以及 65B 模型与上述大模型具有竞争力，而不是说每个基准都占优；区分这一点有助于准确理解结果。

为什么重要 论文表明，仅使用公开可获取的数据集就可以训练出最先进的模型^[1]。论文还说明，所有模型都已发布给研究社区^[1]。这两点合在一起，构成了论文关于开放模型的完整主张：训练数据不是专有且无法获取的，训练出的模型也向研究开放。结果还提供了模型规模与基准表现之间的直接对照，因为 13B 模型被拿来和 175B 模型比较，65B 模型被拿来和 70B、540B 模型比较^[1]。对读者来说，这篇论文既是一份关于训练语言模型系列的技术报告，也是一个关于如何构建和共享这类模型的论证。

要点 LLaMA 的贡献是一个参数规模从 7B 到 65B 的基础语言模型系列，在数万亿词元上训练，只使用公开数据集，报告了基准结果，并把模型发布给研究社区^[1]。训练规模的数据让这个过程变得具体：2048 块 80GB 的 A100 GPU，每块 GPU 每秒约 380 个词元，1.4 万亿词元的一次运行约 21 天^[1]。论文的重要性在于把这些结果与公开数据的明确主张、以及面向研究的模型发布放在一起。