文心 ERNIE-4.5-21B-A3B-Thinking

是什么

文心 ERNIE-4.5-21B-A3B-Thinking 是百度开源的一个大语言模型，专门用于「深度思考」：它不急着给出答案，而是先展开一段较长的推理过程，再输出结果。它采用混合专家（mixture-of-experts，MoE）结构，建立在 ERNIE-4.5-21B-A3B 之上，总参数 210 亿，激活参数 30 亿^[2]。上下文窗口为 128K，也就是 131,072 个 token^[2]。

所谓「混合专家」，是指模型内部包含许多彼此独立的子网络，也就是「专家」，每处理一个 token 时只把输入路由给其中少数几个。由于每次计算只用到被选中的专家，模型可以拥有远多于实际计算量的参数，推理成本因此比总参数规模所暗示的要低。名字里的「21B-A3B」记录的正是这个拆分：总共 210 亿参数，实际激活 30 亿。

由来

百度在 2025 年 9 月 9 日的 WAVE SUMMIT 2025 上开源了这个模型，同一天还发布了 ERNIE X1.1^[1]。在此之前，百度已于 6 月 30 日开源了十个 ERNIE 4.5 模型，这个模型属于该系列^[1]。权重以 Apache License 2.0 协议发布，该协议允许商业使用，模型托管在 Hugging Face 和百度 AI Studio 上^[2][1]。

擅长什么

这个模型面向复杂推理任务，包括逻辑、数学、科学、代码生成和内容创作，并通过函数调用（function calling）支持工具使用^[1][2]。模型卡明确建议把它用于高度复杂的推理任务，而不是当作通用聊天模型^[2]。与上一版相比，模型卡提到它思考长度更长，对 128K 长上下文的理解也有所提升^[2]。

内部结构

模型卡给出了专家配置：文本专家共 64 个，其中每个 token 激活 6 个，另有 2 个共享专家^[2]。共享专家与路由选中的专家一起参与计算，这是混合专家模型里常见的一种做法，用来提供一份稳定的基础计算量。

怎么运行

由于权重公开，这个模型可以在本地或自有基础设施上运行，模型卡对软件版本有明确要求：需要 FastDeploy 2.2，vLLM 0.10.2 或更高版本（但 0.11.0 除外），以及 Transformers 4.54.0 或更新版本^[2]。模型卡还把 SGLang 和 Docker Model Runner 列为可以本地运行该模型的应用^[2]。对于想要改造模型而不只是部署模型的人，百度的 ERNIEKit 在 2025 年 9 月为它加入了监督微调（SFT）和函数调用训练^[3]。

在发展中的位置

它是 ERNIE 4.5 一代中体量较小、协议宽松、专攻推理的一员。其设计也反映出一类常见的开源模型思路：拿一个紧凑的混合专家基座，加上更长的思考过程，再以宽松许可公开权重，让别人能够运行、微调并在其上继续开发。30 亿的激活参数使它在不需要大规模算力集群的情况下也能部署，而 128K 上下文和函数调用则让它适用于涉及长文档和外部工具的多步任务。