Meta 向研究者发布 LLaMA

背景

大型语言模型（large language model，LLM）通过阅读海量文本学习预测下一个词元（token，即文本的最小处理单位之一）。训练这类模型成本高昂，当时许多能力较强的模型只能通过付费接口使用，或者根本没有公开，外部研究者能够研究的对象因此有限。Meta 发布 LLaMA，正是面向研究者这种希望自行研究和运行模型的需求。

发生了什么

2023 年 2 月 24 日，Meta 宣布推出 LLaMA，这是一组基础（foundation）大型语言模型，即面向多种任务、可以再进一步调整的通用模型。LLaMA 包括 70 亿、130 亿、330 亿和 650 亿参数四种规格。^[1] 论文「LLaMA: Open and Efficient Foundation Language Models」于 2023 年 2 月 27 日发布在 arXiv 上，共 14 位作者，第一作者为 Hugo Touvron。^[2]

Meta 以研究用途为主的非商业许可证发布这些模型。访问权限逐案授予，对象包括学术研究人员、政府、民间社会和学术机构的人员，以及工业界的研究实验室。^[1]

关键细节

650 亿和 330 亿参数的模型使用 1.4 万亿个词元训练，70 亿参数的模型使用 1 万亿个词元训练。^[2] Meta 表示，训练只使用了公开可得的数据集。在语言选择上，团队取用了使用人数最多的 20 种语言的文本，并重点关注使用拉丁字母和西里尔字母书写的语言。^[2]

论文报告，LLaMA-13B 在大多数基准测试上优于 GPT-3（1750 亿参数），LLaMA-65B 则与 Chinchilla-70B 和 PaLM-540B 相当。^[2] 基准测试（benchmark）是一组标准化的测试题，用来比较模型。单个基准的分数并不能全面反映模型的能力，解读这类对比时需要注意这一点。

Meta 表示，论文中包含了对模型偏见和毒性的评估。^[2]

影响

论文中的对比显示，较小的模型如果在更多数据上训练，可以在部分测试中与规模大得多的模型相当。这一结果提示，训练数据的规模和训练时长与参数数量同样重要，而不只是参数越多越好。^[2]

非商业许可和逐案授权的做法，使 LLaMA 仍然主要是一项研究性质的发布。它的使用条件比之后一些更开放的模型发布更为严格，因此通常被视为研究上的一步，而非面向普通用户的产品。