Meta 发布 Llama 3

背景

Llama 系列是 Meta 开放提供的语言模型，Llama 3 是 Llama 2 之后的新一代。

发生了什么

2024 年 4 月 18 日，Meta 发布了 Llama 3，提供 80 亿和 700 亿参数两种规模，每种都有预训练版和指令版。Meta 表示，这些模型在各自规模上取得了新的最佳成绩，而参数超过 4,000 亿的模型仍在训练中。^[1]

关键细节

模型在超过 15 万亿 token 上进行预训练，Meta 称这是 Llama 2 数据量的七倍。模型使用 12.8 万 token 的词表，上下文长度为 8K token。^[1][2]

在指令版的基准测试中，80 亿参数模型在 MMLU 上得分 68.4，在 HumanEval 上得分 62.2；700 亿参数模型在 MMLU 上得分 82.0，在 HumanEval 上得分 81.7。^[2]

模型在 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM watsonx、Microsoft Azure、NVIDIA NIM 和 Snowflake 上均可使用，遵循 Meta Llama 3 社区许可证。^[1][2]

同一天，Meta AI 改用 Llama 3 重建，获得了 meta.ai 网站，并以英语向另外 13 个国家推出，包括澳大利亚、加拿大、尼日利亚和新加坡。^[3]

词表是模型能够读写的 token 集合，上下文长度则是模型一次能够纳入考虑的文本量。指令版经过额外训练，能按请求作答；预训练版只学习预测文本。MMLU 和 HumanEval 是常用的基准测试，分别衡量通用知识和编程能力。^[2]

两种规模都有预训练版和指令版，开发者可以按自身需要选择。^[1]

影响

Llama 3 给开发者提供了两种规模、可在多个云平台上使用的广泛可得模型。这次发布也把 Llama 3 带入了 Meta AI，使模型通过 Meta 的应用直接面向用户。^[1][3]