百川智能发布超千亿参数大模型 Baichuan 3

背景

Baichuan 3 是百川智能发布的语言模型。百川智能是中国的人工智能公司。该模型以闭源形式发布：权重没有公开下载，公司通过自己的网站提供试用。^[1]

本条目中的闭源，是指模型权重由开发者保留，外部用户无法自行下载和运行。

发生了什么

2024年1月29日，百川智能发布了 Baichuan 3，这是一个参数超过一千亿的语言模型。^[1]模型在公司网站 baichuan-ai.com 提供试用。^[1]

发布时，公司称该模型在 CMMLU（中文多学科知识测试）和 GAOKAO（采用中国高考题的测试）等中文评测上超过了 GPT-4。^[1]这些是公司自己的评测结果，并非独立测试。

关键细节

公司还称，该模型在 MCMLE、MedExam、CMExam 等中文医疗考试中超过了 GPT-4。^[1]预训练数据中包含超过一千亿词元的医疗文本。词元是模型读取文本的基本单位，通常是一个词或一个词的一部分。^[1]

模型的训练结合了 RLHF 和 RLAIF，并采用迭代式的强化学习过程。RLHF 利用人类反馈引导模型给出人们更偏好的回答，RLAIF 则利用 AI 产生的反馈。^[1]

文中提到的 GPT-4 和 GPT-3.5 是 OpenAI 的语言模型，常被用作新模型比较时的参照。企业宣称模型超过某个具体模型时，结论只适用于其选择公布的测试和条件，不代表所有任务上的表现。

影响

这次发布让百川智能对中文评测和医疗应用的侧重公开可见。由于这些数字来自公司自己的评测，读者应把它们视为公司的说法。公司后续的医疗方向工作，见 Baichuan-M 系列条目和 Baichuan 4 条目。