Baichuan 3

是什么

Baichuan 3 是百川智能于 2024 年 1 月 29 日发布的闭源大语言模型，参数规模超过一千亿^[1]。它以闭源形式发布，用户可以在百川智能的网站 baichuan-ai.com 上试用^[1]。参数规模是衡量模型大小的粗略指标，指的是模型在训练中调整的权重数量；到一千亿这个量级，训练和对外提供服务都需要大量算力。

训练方法

百川智能称，Baichuan 3 的预训练数据中包含一份超过一千亿 token 的医疗数据集^[1]。预训练之后，模型用基于人类反馈的强化学习（RLHF）与基于 AI 反馈的强化学习（RLAIF）相结合的方式做调优，并采用迭代式的强化学习流程^[1]。通俗地说，RLHF 是把模型往人类标注者更偏好的回答方向调整；RLAIF 则把其中一部分人类判断换成由另一个模型给出的判断。数据环节上，百川智能表示借鉴了搜索引擎的经验，用来过滤重复和低质量的数据^[1]。在推理阶段，公司还称对医疗场景的提示词（prompt）做了优化^[1]。

公布的成绩

在 MMLU 等英文基准上，百川智能称 Baichuan 3 达到 GPT-4 约 90% 的水平^[1]。MMLU 是覆盖多个学科的多项选择知识测试。在 CMMLU、GAOKAO 等中文基准上，按百川智能自己的评测，它大幅领先 GPT-3.5，并超过 GPT-4^[1]；CMMLU 是中文的多学科选择题测试，GAOKAO 则以高考题目作为考查内容。在数学和代码类基准，以及多轮对话评测 MT-Bench 和指令遵循评测 IFEval 上，它胜过 GPT-3.5 和 Claude，仅次于 GPT-4^[1]。

医疗能力

医疗是这次发布的重心：百川智能称 Baichuan 3 是中文医疗能力最强的大模型^[1]。公司称它在中国医疗任务（MCMLE、MedExam、CMExam 等）上超过 GPT-4，在英文医疗任务（USMLE、MedMCQA 等）上接近 GPT-4^[1]。这些评测大多是医学考试类题目和医学问答数据集，考的是医学知识与应试式推理。

写作能力

百川智能称，Baichuan 3 的古典诗词创作可用性提升了五倍以上，并称其文学能力明显强于 GPT-4^[1]。

这些说法说明什么

发布中的基准成绩都出自百川智能自己的评测，比较对象是 GPT-4 和 GPT-3.5^[1]。把这些成绩放在一起看，Baichuan 3 的定位是中文与医疗方向上的强手，而不是在每一项英文评测上全面领先：它声称在中文基准和中文医疗任务上超过 GPT-4，但在 MMLU 上只达到 GPT-4 的约 90%，在数学、代码和指令遵循上排在 GPT-4 之后^[1]。专门的医疗数据集、推理阶段的医疗提示词优化，以及诗词写作的说法，指向的是同一个方向——把中文和垂直领域能力当作差异点。