LLaMA

是什么

LLaMA 是 Meta AI 于 2023 年 2 月 24 日公布的一系列基础语言模型（foundation language model），名字来自 Large Language Model Meta AI 的首字母缩写^[2]。它共有 7B、13B、33B、65B 四种规模，数字指的是以十亿计的参数量^[2]。所谓基础模型，是指先用大量文本训练出一个通用模型，再由别人按需改造，而不是一开始就为某个具体任务定制。

训练数据与结构

论文作者只用公开可得的数据训练 LLaMA^[1]。33B 和 65B 模型训练时看过 1.4 万亿个 token（词元），7B 和 13B 模型为 1.0 万亿个^[1]。token 是文本被切分后的小片段，大致相当于一个词或词的一部分，所以万亿级的 token 对应极大量的阅读材料。文本取自使用人数最多的 20 种语言，并侧重拉丁字母和西里尔字母^[1]。

模型结构是 Transformer，有三处值得注意的选择：用 RMSNorm 做预归一化（pre-normalisation）、采用 SwiGLU 激活函数、以及旋转位置编码（rotary positional embeddings，RoPE）^[1]。预归一化指每个模块处理输入之前，先对输入做归一化，这样训练深层网络更容易。位置编码解决的是「哪个词在前、哪个词在后」的问题，RoPE 的做法是按位置把词的向量旋转一个相应的角度。

训练要花多少

训练 65B 模型时，在 2048 块 A100 80GB 显卡上，每块显卡每秒处理约 380 个 token，因此把 1.4 万亿 token 完整过一遍大约需要 21 天^[1]。论文给出这组数字，让外部读者能自己判断训练这样一套模型需要多少算力。

结果

论文由 Hugo Touvron 等人完成，核心说法是：LLaMA-13B 在多数基准测试上优于参数量 1750 亿的 GPT-3，而自身小十倍以上；LLaMA-65B 则与 Chinchilla-70B 和 PaLM-540B 水平相当^[1]。换句话说，这一系列中较小的模型被拿去和体量大得多的模型比较，并在标准测试上被认为不落下风。

发布方式

LLaMA 以非商用许可面向研究用途发布，访问权限按个例审批，对象包括学术研究者、政府、民间组织和产业研究实验室^[2]。论文中也写明，作者把这些模型全部开放给研究社区^[1]。论文首次提交到 arXiv 是在 2023 年 2 月 27 日^[1]。

在领域中的位置

Meta 的说法是：用更多 token 训练出来的更小模型更容易重新训练和微调，也能让缺少大规模基础设施的研究者研究大语言模型^[2]。这两点都关系到谁能参与这项工作——微调小模型比微调超大模型便宜，能在普通硬件上跑起来的模型则让无法从头训练模型的团队也能上手。后继的 Llama 2 于 2023 年 7 月推出，允许商业使用^[2]，这一系列也从仅限研究的许可转向企业可以采用的许可。