百度开源多模态思考模型 ERNIE-4.5-VL-28B-A3B-Thinking

背景

视觉语言模型接收图像和文字提示，用文字作答。近年不少模型还会在给出最终答案之前写出中间推理步骤，这对需要多轮读取和核对的题目很有帮助，比如从一张图表里把数字读出来。这条发布里有两个词值得先说明。「开放权重」（open-weight）指训练好的权重被公开，别人可以下载并自行运行。「混合专家」（mixture of experts，MoE）指网络里有很多参数块，但每个词元只经过其中少数几块，因此参数总量和每个词元实际消耗的算力是两个不同的数字。

发布内容

2025 年 11 月，百度以开放权重的方式发布了 ERNIE-4.5-VL-28B-A3B-Thinking^[1][2]。许可证为 Apache 2.0^[3]。这次发布不只是权重，还带了训练支持：百度在 ERNIEKit v1.5 中为该模型加入了训练支持^[1][2]；PaddlePaddle 的 ERNIE 仓库在 2025 年 11 月的更新消息里列出，ERNIEKit v1.5 为该模型提供监督微调（supervised fine-tuning，SFT）和函数调用训练^[1]。

名字本身就是规格说明。VL 表示视觉语言模型，28B 是参数总量，A3B 指每个词元激活约 30 亿参数，Thinking 指它的推理模式。The Batch 把它描述为一个混合专家 Transformer，总参数 280 亿，每个词元激活 30 亿^[2]。

用图像思考

模型卡特别点出的一点是，它在推理过程中可以放大图像的局部，也可以调用以图搜图，模型卡称之为「Thinking with Images」^[3]。这个思路是：图像不必只读一次就被固定成一种内部表示。如果某个细节太小看不清，模型可以裁剪并放大那一块再看一遍；如果画面里的东西仅凭像素判断不出来，它可以发起一次以图搜图，再基于返回的结果继续推理。读一张密集的图表、核对示意图角落里的一处标注、认出照片里的一栋建筑，都属于这套循环想支撑的步骤，而找回来的信息会重新进入同一条推理链。

训练

模型卡写明，它用多模态强化学习训练，方法包括 GSPO 和 IcePop^[3]。这里的强化学习指不靠模仿文本，而是按奖励信号优化模型：模型给出尝试，尝试被打分，训练再把概率推向得分更高的那些尝试。

结果

DeepLearning.AI 报道它在 ChartQA 上得 87.1%，Gemini 2.5 Pro 为 76.3%，GPT-5（high）为 78.2%^[2]。ChartQA 的题目必须从图表中读出数值和走势才能作答，因此它考的是感知与多步推理的结合，正是这个模型瞄准的方向。单一基准只是观察模型能力的一个窄窗口：它说明的是这个模型在图表阅读上相对这两个系统的位置，而不是一份总体排名。

运行条件

Hugging Face 模型卡指出，单卡 FastDeploy 部署至少需要 48GB 显存^[3]。这个数字要和「激活 30 亿」放在一起看：稀疏激活降低的是每个词元的计算量，全部权重仍然要存下来、要能跑起来。

意义

这次发布里同时出现了三样东西。权重开放、许可宽松^[3]，实验室和公司可以检查、微调、自己部署，而不必只调用远端服务。训练工具链也一并给出，ERNIEKit v1.5 覆盖监督微调和函数调用训练^[1]，团队可以据此把模型接到自己的工具和数据上。而「用图像思考」把图像当成推理过程中可以反复回看的东西，而不是一次编码后就固定不变^[3]——这对图表、文档、截图这类整张图很大、答案只落在小区域的场景尤其对路。