Meta 发布可商用的 Llama 2

背景

Llama 2 是 Meta 在 LLaMA 之后推出的新一代模型系列。它的权重（weights，即训练后模型所使用的数值）可以下载，因此其他人可以在自己的硬件上运行模型，也可以对其进行微调（fine-tuning）。公开权重与严格意义上的开源软件并不相同，具体使用条款因发布而异，所以许可证和文件能否获取同样重要。

发生了什么

2023 年 7 月 18 日，Meta 发布 Llama 2，模型可免费用于研究和商业用途。发布内容包括预训练模型，以及面向对话的微调版本的模型权重和入门代码。^[1] 同一天，论文「Llama 2: Open Foundation and Fine-Tuned Chat Models」发布在 arXiv 上，共 68 位作者，第一作者为 Hugo Touvron。^[2]

Meta 将微软列为 Llama 2 的首选合作伙伴。模型提供在 Azure AI 模型目录中，并针对在 Windows 上本地运行做了优化；此外，AWS、Hugging Face 等平台也提供了该模型。^[1]

关键细节

Llama 2 发布的规格为 70 亿、130 亿和 700 亿参数。^[1] 每个模型都使用 2 万亿个词元进行预训练，上下文长度为 4k 个词元，即模型一次能够考虑的文本长度。^[3] 只有 700 亿参数的模型采用了分组查询注意力（grouped-query attention，GQA），这一技术可以减少文本生成时所需的内存。^[2]

面向对话的 Llama 2-Chat 模型经过了专门优化，其微调数据包括超过 100 万条新增的人工标注样本。^[2]

根据模型卡片（model card），Llama 2 的训练时间为 2023 年 1 月至 7 月，预训练数据截止到 2022 年 9 月。训练累计使用了 330 万 GPU 小时，所用硬件为 A100-80GB。^[3]

Meta 表示，微调后的模型经过了内部和第三方的对抗性测试（red-teaming），即主动寻找模型的失效情况和有害输出。Meta 还公开了《负责任使用指南》和《可接受使用政策》。^[1]

模型采用定制的商业许可证，下载时需要同意 Meta 的条款。^[3]

影响

允许对可下载的权重进行商业使用，意味着企业可以在自有基础设施上运行这样一个大型模型，也可以通过云服务商调用它，而不必只依赖封闭的接口。^[1]

定制许可证加上可接受使用政策，体现出一种折中：权重可以获取，但使用受合同条款约束，而不是完全不受限制的开源许可。人们如何评价这种权衡，取决于其对开放与风险的看法。