《Llama 2：开放的基础模型与微调对话模型》

这篇论文是什么

《Llama 2：开放的基础模型与微调对话模型》由 Hugo Touvron 领衔、Meta 的一长串作者共同完成，于 2023 年 7 月 18 日提交到 arXiv^[1]。它同时做了两件事：开发并发布一系列大型语言模型，以及详细记录这些模型的对话版本是怎样训练出来的^[1]。

它要解决什么问题

语言模型从根本上说，是在大量文本上训练、用来预测下一个词的系统。这样的训练目标能产出流畅的文字，却不一定能产出一个好用的助手：只被训练来续写文本的模型可能啰嗦、跑题，或者说出开发者不希望它说的内容。要把这样的基础模型变成能顺畅对话的东西，需要在对话数据上继续训练；要让它的行为更安全，还要再做一层工作。这类能力能在多大程度上由构建过程被公开描述的模型来提供，而不必依赖只对外提供服务接口的系统，一直是这个领域反复出现的问题。这篇论文的工作正落在这一问题上。

发布了什么

论文开发并发布了 Llama 2，这是一组预训练与微调的大型语言模型，规模从 70 亿参数到 700 亿参数^[1]。参数是模型在训练中学习到的数值权重，参数量是衡量模型规模与容量的粗略指标，因此覆盖这样一个区间的模型家族，提供了计算成本差别很大的多种选择。家族中经过微调的成员称为 Llama 2-Chat，它们针对对话场景做了优化^[1]。这一区分很重要：预训练模型是通用的起点，对话模型才是为与用户来回交流而塑造的版本。

对话模型是怎么做出来的

论文相当大的篇幅用在从预训练模型到对话模型的过程上。作者详细描述了他们在 Llama 2-Chat 上做微调、以及提升安全性的方法^[1]。用一般的话说，微调就是在已经预训练好的模型上，用范围更窄、挑选更仔细的一批样本继续训练，使它的行为向期望的回答方式偏移。这一语境下的安全工作，通常指教模型拒绝或转移有害请求，并以人类评审者认为恰当的方式作答。论文把这些当作需要写清楚的工程步骤，而不是顺带产生的副作用，并交代了具体做法。

结果

摘要指出，在作者测试的大多数基准（benchmark）上，这些模型优于开源对话模型^[1]。基准是带固定评分方式的标准测试集，能让不同模型在同一批任务上比较。但基准本身反映不出模型用起来是什么感觉，因此作者还做了人类评估，请人从有用性和安全性两方面判断模型输出；基于这些评估，他们表示这些模型或许可以替代闭源模型^[1]。这是一个关于作者自己所做的比较的判断，而且被表述为一种可能性，而非已经定论的结论。

为什么要把细节公开

作者说明了公开这些细节的目的：让社区能在这项工作的基础上继续做下去，并为大型语言模型的负责任发展作出贡献^[1]。把微调与安全的做法写清楚，同时服务两类读者：想复现、扩展或批评这套方法的研究者，以及想判断这类模型会做什么、不会做什么的人。对于一类从外部很难看清内部行为的系统来说，一份说明它是如何被塑造出来的文字记录，是让这次发布可用、可评估的一部分，也把这项工作放进了开放描述的基础模型谱系之中，供后来者对照和衡量。