Meta 发布开放的前沿级模型 Llama 3.1 405B

背景

Llama 3.1 是 Meta 在 4 月发布 Llama 3 之后，以开放权重的形式发布的同一规模模型。^[1]

发生了什么

2024 年 7 月 23 日，Meta 发布了 Llama 3.1，提供 80 亿、700 亿和 4,050 亿参数三种规模。模型支持 12.8 万 token 的上下文，并覆盖八种语言。^[1][2]

Meta 称，4,050 亿参数版本是世界上规模最大、能力最强的公开可用基础模型。它在超过 15 万亿 token 上训练，使用了 16,000 多块 H100 GPU。^[1]

关键细节

4,050 亿参数的指令版在 MMLU 上得分 87.3，在 HumanEval 上得分 89.0，在 MATH 上得分 73.8。^[2]

Meta 表示，该模型与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 相比具有竞争力。^[1]

许可证作了修改，允许使用 Llama 的输出来改进其他模型。AWS、NVIDIA、Databricks、Groq、Dell、Azure 和 Google Cloud 等超过 25 家合作伙伴在首日即提供该模型。^[1]

同一天，扎克伯格发表了《Open Source AI Is the Path Forward》（开源 AI 是前进的道路）一文，主张开放的 AI 将走上 Linux 那样的道路。^[3]

技术论文《The Llama 3 Herd of Models》（Llama 3 模型群）于 2024 年 7 月 31 日发布，共有 559 位作者。^[4]

基础模型是可以适配多种任务的大型通用模型。开放权重让外部研究者和公司能够在自己的基础设施上运行模型，而不必把数据交给服务商。405B 是三种规模中最大的，8B 和 70B 与之同时发布。^[1]

Meta 的博客文章和模型卡给出了详细的规格和基准测试表。^[1][2]

影响

在当时，Llama 3.1 405B 是 Meta 发布的规模最大的公开模型。许可证的修改允许其他人使用它的输出来训练自己的模型。论文和文章与此次发布相伴。^[4][3][1]