Llama 2

是什么

Llama 2 是 Meta 于 2023 年 7 月 18 日发布的开源权重语言模型系列，微软是首选合作伙伴。Meta 在发布时表示「Llama 2 可免费用于研究和商业用途」^[2]。这一系列有 7B、13B、70B 三种参数规模，每种规模都发布两个版本：预训练基础模型，以及为对话微调过的 Llama 2-Chat ^[3]。三者都是基于优化过的 Transformer（变换器）的自回归语言模型，上下文长度统一为 4k 个 token；其中 70B 版本使用了分组查询注意力（grouped-query attention，GQA），即让多个注意力头共用一组键和值的投影，从而降低生成文本时的显存占用 ^[1]。

上下文长度指的是模型一次能看进多少文本，4k 个 token 大致相当于几千词的问题加回答。

这不是 Meta 第一次放出 Llama。Llama 1 采用申请制提供给研究者，Meta 称该模型收到了超过 10 万次访问请求 ^[2]。Llama 2 的不同之处在于，它是以带商业许可的权重形式分发，而不是限于特定研究用途的申请制。

怎么训练的

预训练模型使用了 2.0 万亿个 token 的数据，数据截止到 2022 年 9 月，训练在 2023 年 1 月至 7 月之间进行 ^[1]。Meta 公布预训练消耗了 330 万个 GPU 小时，使用的是 A100-80GB 硬件，估计排放 539 吨二氧化碳当量，并表示这些排放已全部抵消 ^[1]。

对话版本不是换个提示词那么简单。它们经过两个阶段的调整：先是用人工撰写的回答做监督微调（supervised fine-tuning），再做基于人类反馈的强化学习（reinforcement learning from human feedback，RLHF）——由人给若干候选回答排序，再用这些排序训练一个奖励模型，用它把模型往人更偏好的方向推。Meta 为此使用了超过 100 万条新的人工标注样本，并在发布前对微调后的模型做了内部和外部的红队测试 ^[1]。

结果

配套论文的作者包括 Hugo Touvron、Louis Martin、Kevin Stone 等人，论文于 2023 年 7 月 18 日首次提交到 arXiv，7 月 19 日做了修订 ^[1]。论文报告称，Llama 2-Chat 在所测的大多数基准上胜过其他开源对话模型；而针对有用性和安全性的人类评估显示，它或许可以替代闭源模型 ^[1]。这两项比较都是论文作者自己做的，对照的是他们手头能测试的开源对话模型。

许可与分发

Llama 2 采用自定义的商业许可证（即 Llama 2 Community License）分发，而不是标准的开源许可证 ^[3]。权重通过 Azure AI 模型目录、Amazon Web Services 和 Hugging Face 提供，预期使用语言为英语 ^[3]。可下载的权重、商业许可、以及在多家云平台上架，这三点合在一起是这次发布引人注意的地方：研究者可以查看和改造模型，公司也可以直接在其上继续开发，而不必另行谈一份协议。

在发展中的位置

Llama 2 之后是 2024 年 4 月 18 日发布的 Llama 3，规模为 8B 和 70B，预训练使用了超过 15 万亿个 token ^[4]。