文心 ERNIE 5.5 Flash Base

是什么

ERNIE 5.5 Flash Base 是百度于 2026 年 11 月 5 日推出的语言模型，权重以 baidu/ERNIE-5.5-Flash-Base 的名字发布在 Hugging Face 上^[1][2]。它不是一个做好的对话助手，而是一个基座检查点（base checkpoint）：百度在中期训练（mid-training）和后训练（post-training）之前就把它放了出来，这两个阶段通常才把一个预训练模型变成可用的产品；它的预训练用了 33.5 万亿 token^[2]。模型只处理文本^[2]。

结构

这是一个稀疏混合专家（mixture-of-experts，MoE）模型。稠密网络里每个 token 都要过同一套参数；稀疏 MoE 则由路由环节把每个 token 送去少数几个专门的子网络，因此总参数量可以远大于单个 token 实际用到的计算量。

在这一模型里，总参数为 2800 亿，每 token 激活 1400 亿^[2]。网络共 43 层：1 层稠密层，42 层 MoE 层。每个 MoE 层里有 512 个路由专家，对某个 token 只取其中排名前 10 的专家，此外还有 1 个共享专家^[2]。共享专家是每个 token 都会经过的那一个，与路由选出的少数专家并行。

注意力（attention）部分是混合的，而不是全网络统一：37 层使用 Heavily Compressed Attention，6 层使用 MLA-with-DSA^[2]。注意力是模型在处理每个新 token 时权衡此前各个 token 的机制；在网络不同深度混用两种注意力设计，意味着它并不处处采用同一套方案。

上下文长度分两段处理。预训练使用 128K 上下文，微调与推理则支持到 100 万 token^[2]。发布的权重有两种数值格式，FP8 和 BF16^[2]。

公布的成绩

百度为 ERNIE 5.5 Flash Base 发了一张基座模型对比表。表中成绩为：MMLU 93.3、MMLU-Pro 78.4、GPQA 60.2、HumanEval+ 82.3、LiveCodeBench 40.1、SimpleQA 34.1^[2]。这些基准考察的能力各不相同：MMLU 和 MMLU-Pro 是多选题知识测试，GPQA 是研究生水平的科学题，HumanEval+ 与 LiveCodeBench 测代码生成，SimpleQA 考简短的 factual 问答。

在百度的表中，上述成绩领先于参与对比的模型，即 DeepSeek-V4-Flash-Base、Hy3-preview-Base 和 MiMo-V2.5-Base^[2]。在长上下文基准 LongBench-v2 上，表中给 ERNIE 5.5 Flash Base 的是 48.7，DeepSeek-V4-Flash-Base 为 44.5^[2]。同一张表并非全面领先：DeepSeek-V4-Flash-Base 在 ChineseSimpleQA 上更高，为 75.3 对 73.0^[2]。这些数字都出自百度自己的对比，因此更适合看作厂商对自家模型位置的说明，而不是独立的排名。

许可与位置

权重并未采用 Apache 2.0，而是按《ERNIE 5.5 Flash Base Model License Agreement v1.0》这一自定义协议发布^[2]。打算商用的人因此需要读这份文件，而不能照搬标准开源许可证的条款。

作为基座检查点，它的用途是起点：模型已经过预训练，但没有做对齐或面向对话的调优，常见用法是在具体任务或领域上继续微调。结构设计也让这件事更可行——每 token 只在 2800 亿参数中激活 1400 亿，一次前向计算所需的算力远低于总参数量所暗示的水平。