Meta 发布 Llama 4 Scout 和 Maverick

背景

此前的 Llama 模型属于稠密（dense）模型，每个生成的 token 都会用到全部参数。Llama 4 在两个方面改变了设计。第一，它采用混合专家（mixture-of-experts，简称 MoE）架构，每个 token 只激活网络的一部分。第二，它是原生多模态的，也就是在文本和图像上一起训练，而不是事后再加上视觉能力。Meta 把 Llama 4 称为这类模型新时代的开始。^[1]

发生了什么

2025 年 4 月 5 日，Meta 发布 Llama 4 Scout 和 Llama 4 Maverick。它们是首批以混合专家和原生多模态方式构建的 Llama 模型。^[1] 在同一次发布中，Meta 还预览了第三款模型 Llama 4 Behemoth，当时它仍在训练中。^[1]

关键细节

Scout。 Scout 的激活参数为 170 亿，总参数为 1090 亿。它的上下文窗口为 1000 万个 token。^[1] 激活参数指每个 token 实际用到的参数，总参数则包括模型中所有专家的参数。

Maverick。 Maverick 同样有 170 亿激活参数，但总参数为 4000 亿。^[1]

Behemoth。 Meta 预览的 Behemoth 有 2880 亿激活参数，总参数接近 2 万亿。当时它仍在训练中。^[1]

训练数据。 这些模型的预训练数据超过 30 万亿个 token，覆盖 200 种语言。^[1]

排行榜成绩。 Meta 称，Maverick 的一个实验性聊天版本在 LMArena 上取得 1417 Elo 分。LMArena 是一个公开排名平台，用户会比较不同模型的回答。随后 LMArena 表示，Meta 本应说明该版本是定制版本，此事之后该平台也收紧了规则。^[1][2]

产品。 Meta AI 在 WhatsApp、Messenger、Instagram 私信以及 meta.ai 上都切换到了 Llama 4。^[1]

LlamaCon。 2025 年 4 月 29 日，Meta 举办首届 LlamaCon 开发者大会，宣布 Llama API 开放预览，并表示 Llama 的下载量已超过 10 亿次。^[3]

Behemoth 延期。 2025 年 5 月，《华尔街日报》报道称，Behemoth 的发布已被推迟。^[4]

影响

Llama 4 标志着 Meta 把 Llama 系列转向混合专家和原生多模态设计，并把 Llama 模型带进了 Meta 面向消费者的聊天产品。LMArena 的事件促使该排名平台收紧规则。Behemoth 的延期以及此后 Meta 的组织调整，见本档案后续条目。^[1][2][4]