Llama 4 Behemoth

是什么

Llama 4 Behemoth 是 Meta 的一个超大规模混合专家（mixture-of-experts）模型。Meta 于 2025 年 4 月 5 日与 Llama 4 Scout 和 Maverick 一同预览了它，但表示它仍在训练中，暂不发布。^[1] 它拥有 2880 亿活跃参数、16 个专家，以及接近 2 万亿的总参数。^[1]

Behemoth 的角色是教师模型。Llama 4 Maverick 是从它蒸馏而来的，也就是说 Maverick 在训练中向 Behemoth 的输出学习。^[1] 教师模型是规模更大的模型，较小的模型被训练去模仿它的行为。

由来与训练

Meta 以 FP8 精度在 3.2 万块 GPU 上对 Behemoth 进行预训练，每块 GPU 达到 390 TFLOPs。FP8 是一种低精度的数字格式，每次计算所用的内存和时间都比高精度格式少。^[1]

预训练之后，Meta 为 Behemoth 修剪掉了 95% 的监督微调数据，较小的 Llama 4 模型对应的比例约为 50%。Meta 还称，经过改进的强化学习基础设施带来了约十倍的训练效率。^[1] 监督微调是用优质回答的示例进行训练，强化学习则根据奖励信号让模型表现得更好。

主要特点

Meta 的说法。 Meta 称，Behemoth 在 MATH-500 和 GPQA Diamond 等 STEM 基准上超过了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。^[1] 基准是标准化的测试集，这些结果是 Meta 自己的报告，并非第三方的独立测试。

规模。 Behemoth 的总参数接近 2 万亿，远大于 Llama 4 系列中的任何其他模型。由于采用混合专家设计，其中同时激活的只有 2880 亿参数。^[1]

在发展中的位置

Behemoth 的发布被推迟了。2025 年 5 月，《华尔街日报》报道称，原定 4 月的发布已推迟到秋季或更晚，原因是人们担心它相比早期模型的提升有限。Meta 拒绝置评。^[2]

2025 年 7 月 14 日，《纽约时报》报道称，新成立的 Meta Superintelligence Labs 负责人（包括 Alexandr Wang）曾讨论放弃 Behemoth，转而开发一个闭源模型。Meta 拒绝说明该模型是否已被终止。^[3] 闭源模型指不公开权重、只有其所有者或合作方能够运行的模型。

Behemoth 从未公开发布。截至 2026 年 1 月，Llama 4 仍是 Meta 最近的一次 Llama 发布。^[4] Meta 的下一项前沿工作来自 Meta Superintelligence Labs，其首个模型是 2026 年 4 月 8 日发布的 Muse Spark。^[5]

对学习者而言，Behemoth 说明，一个模型即使从未发布，也可能很重要。它作为教师模型影响了 Maverick，而关于它推迟和可能被替换的报道，是外界了解它后来情况的主要记录。^[1][2][3]