文心大模型 5.0

是什么

文心大模型 5.0（ERNIE 5.0）是百度推出的基础模型（foundation model），被定位为继文心大模型 4.5 和 4.5 Turbo 之后的最新一代文心系列模型。基础模型指在广泛数据上训练、可适配多种任务的大型模型。文心 5.0 被描述为原生全模态（natively omni-modal）模型，即从一开始就把文本、图像、音频和视频放在同一个模型里联合处理，而不是逐项外加。百度称其为统一的多模态基础模型，参数规模为 2.4 万亿。^[1][2]

由来

百度于 2025 年 11 月 13 日在百度世界 2025 大会上发布了文心 5.0。同时，模型以预览形式向公众开放，文心一言和千帆平台也面向企业提供预览版。^[1]

随后发布的技术报告（arXiv 编号 2602.04705）于 2026 年 2 月 4 日在 arXiv 上公开。报告描述了一种超稀疏混合专家（ultra-sparse mixture-of-experts）设计，并采用与模态无关的专家路由（modality-agnostic expert routing）。模型从零开始在所有模态上训练，训练目标是统一的“下一组 token 预测”（next-group-of-tokens prediction）。^[3] 报告作者称，这是在已公开披露的模型中，首个达到生产规模、参数量为万亿级、同时支持多模态理解与生成的统一自回归模型。^[3]

预览版之后，更新版本 ERNIE-5.0-0110 于 2026 年 1 月结束预览。在 LMArena 文本榜单（一个由用户对比模型回答的公开排行）上，它获得 1,460 分，位列第 8，是前十名中唯一的中国模型。^[6][7] 百度于 2026 年 1 月 22 日宣布面向企业和个人正式开放。模型为非开源，即权重不向公众发布。^[8]

架构与训练

根据技术报告，模型的激活比例低于 3%，即处理任一 token 时只使用很小一部分参数。模型还通过弹性训练（elastic training）从同一网络中派生出子模型。其中一个子模型使用了总参数的 35.8%、激活参数的 53.7%，性能接近完整模型。^[4]

在中期训练阶段，上下文长度从 8K 扩展到 32K，再扩展到 128K。模型基于飞桨（PaddlePaddle）训练。^[4]

公布的成绩

百度的技术报告给出了一系列后训练（post-training）后的成绩。在 AIME 2025（竞赛数学题）上得分 89.06；在 MMLU-Pro（更难版本的综合知识测试）上得分 83.80；在 GPQA-Diamond（研究生水平的科学问题）上得分 86.36；在 LiveCodeBench v6（由近期竞赛题组成的编程测试）上得分 76.21；在 HLE（人类最后的考试）上得分 25.81。多模态测试方面，MMMU-Pro 得分 68.63，MathVista（视觉数学推理）得分 84.80，DocVQA（文档问答）得分 95.45，GenEval（图像生成）得分 90.1。^[4]

百度称，模型的优势包括多模态理解、指令遵循、创意写作、事实推理、智能体规划和工具使用。^[1]

据 DeepLearning.AI 报道，模型可输出最多 64,000 个 token 的文本、图像、音频和视频；千帆平台的定价为每百万输入 token 0.85 美元，每百万输出 token 3.40 美元。^[5]

在系列中的位置

文心 5.0 是这一系列后续工作的基础。2026 年 5 月，文心大模型 5.1 便是在文心 5.0 的预训练基础之上构建的。^[1][9] 因此，从文心 4.5 到文心 5.0，再到文心 5.1，每一代都建立在上一代之上。