百度发布开放权重的 ERNIE 5.5 Flash Base

背景

ERNIE 5.5 Flash Base（文心 5.5 Flash Base）是一个基座模型（base model），即完成了预训练、但尚未经过后续训练阶段的模型。这里的后续阶段指中期训练（mid-training）和后训练（post-training），它们会塑造模型的最终行为。开发者拿到基座模型后，通常会根据自己的需要进行微调，因此这类发布主要面向研究者和开发者，而不是直接使用聊天应用的普通用户。

开放权重（open-weight）指训练得到的参数被公开，任何人都可以在许可证条款下下载并运行模型。这与托管服务不同：托管服务的用户只是把请求发送给服务商的服务器。

发生了什么

2026 年 11 月 5 日，百度推出 ERNIE 5.5 Flash Base，并把权重发布在 Hugging Face 上。^[1][2] 该模型是在中期训练和后训练之前发布的检查点（checkpoint），位于预训练之后、最终调整之前的阶段。^[2]

关键细节

ERNIE 5.5 Flash Base 是一个总参数为 280B（2800 亿）的混合专家模型，激活参数为 14B（140 亿），训练使用了 33.5 万亿（33.5 trillion）个 tokens。^[2] 在混合专家设计中，每个 token 只有部分网络参与运算，因此 14B 激活参数描述的是每个 token 的计算量，280B 则是模型存储的参数总量。

该模型可支持最多 1M（100 万）tokens 的微调和推理，训练阶段的上下文长度为 128K。^[2] 上下文窗口指模型一次能够考虑的文本长度，以 token 计。

模型使用百度自有的《ERNIE 5.5 Flash Base Model License Agreement v1.0》许可协议。^[2] 由于这是百度自己的协议，而非标准开源许可证，其条款只适用于本次发布，使用前需要仔细阅读。

百度报告该基座模型的 MMLU 得分为 93.3，MMLU-Pro 得分为 78.4。^[2] MMLU 是覆盖多个学科的选择题基准测试，被广泛用于比较模型的知识和推理能力；MMLU-Pro 是其难度更高的版本。

影响

以开放权重形式发布预训练阶段的检查点，让研究者和开发者可以检查和调整模型的基础能力，而不仅仅是使用成品聊天模型。