Llama 3.1（含 405B）

是什么

Llama 3.1 是对 Llama 3 系列的一次更新。它于 2024 年 7 月 23 日上线，提供 80 亿、700 亿和 4050 亿参数三种规格。Meta 称 4050 亿参数的模型是全球最大、能力最强的可公开获取的基础模型。^[1][2] 基础模型（foundation model）是一种通用模型，其他应用和微调模型都可以在它之上构建。

所有规格都具有 128K 个词元的上下文，并支持八种语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。^[2]

由来与训练

这些模型在约 15 万亿个词元上进行了预训练，知识截止时间为 2023 年 12 月。^[2] 4050 亿参数的模型在超过 1.6 万块 H100 GPU 上训练，这是 Llama 模型中首次在这一规模上训练。^[1][2]

在 4050 亿参数模型的架构上，Meta 选择了标准的仅解码器 Transformer，而没有采用混合专家（mixture-of-experts）设计。Meta 为训练稳定性做出了这一选择。^[1][3] 混合专家设计会把每个输入分配给网络中的少数几个专家子模块，效率可能更高，但更难稳定地训练。

算力总量方面，4050 亿参数模型用了 3084 万 H100 GPU 小时，700 亿参数模型用了 700 万小时，80 亿参数模型用了 146 万小时，合计 3930 万小时。按所在地区的电网排放估算，排放量为 11390 吨二氧化碳当量。^[2]

描述这一系列的论文《The Llama 3 Herd of Models》有 559 位作者，于 2024 年 7 月 31 日首次提交。^[3]

主要特点

后训练。 预训练之后，模型经过了多轮监督微调、拒绝采样和直接偏好优化（direct preference optimization）。拒绝采样会从多个候选答案中只保留最好的一个；直接偏好优化则用人或模型排出先后次序的答案对来训练模型。4050 亿参数的模型还从 BF16 量化到 FP8，从而能在单个服务器节点上运行。^[1]

基准成绩。 指令微调后的 4050 亿参数模型在 MMLU 上得分 87.3，MMLU-Pro 为 73.3，HumanEval 为 89.0，GSM-8K 为 96.8，MATH 为 73.8，GPQA 为 50.7，ARC-C 为 96.9。^[2] Meta 称，该模型在 150 多个基准数据集上可与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 相比。^[1]

许可证。 Llama 3.1 社区许可证作了修改，允许开发者使用包括 4050 亿参数模型在内的模型输出来改进其他模型。^[1][2]

合作伙伴。 发布首日，超过 25 家合作伙伴提供了这些模型，包括 AWS、NVIDIA、Databricks、Groq、Dell、Azure、Google Cloud 和 Snowflake。Meta 称，Llama 模型的累计下载量已超过 3 亿次。^[1]

安全与工具。 发布时还附带了 Llama Guard 3 和 Prompt Guard 两个安全模型，以及一份 Llama Stack 接口的提案。4050 亿参数模型可在美国通过 WhatsApp 和 meta.ai 体验。^[1]

在发展中的位置

同一天，Meta 首席执行官马克·扎克伯格发表了题为《Open Source AI Is the Path Forward》的信件。他在信中把开放的 AI 与 Linux 相比。^[4]

之后的发布延续了这一路线。2024 年 9 月的 Llama 3.2 加入了视觉能力和小型端侧模型。2024 年 12 月的 Llama 3.3 700 亿参数版本，在若干基准上追平了 4050 亿参数模型。^[5][6]

对初学者来说，Llama 3.1 的意义主要体现在数字上。4050 亿参数的模型展示了开放路线在最大规模上能做到什么；之后 700 亿参数模型在若干测试上追平它，说明较小的模型也能在这些测试上达到相近水平。^[2][6]