百川智能发布开源模型 Baichuan 2

背景

在这次发布之前，百川智能已经公开过开源模型。其第一代开源模型包括 Baichuan-7B，此次发布的是第二代，训练数据更多，公开的材料也更丰富。^[1]

发生了什么

2023年9月6日，百川智能发布了下一代开源模型系列 Baichuan 2，有 7B 和 13B 两种规格。^[1]同一天，《中国日报》报道了这两款开源大语言模型的发布。^[4]

模型的训练数据为 2.6 万亿词元。^[2]词元是模型读取文本的基本单位，这一数字说明模型在训练中读过的文字量。

关键细节

公司公布，13B 基础版在 MMLU（英文多学科知识测试）上得分 59.17，在中文版 CMMLU 上得分 61.97。^[2]这些是公司自己公布的结果。

百川智能还公开了中间训练检查点，供研究使用。检查点是训练中途保存的模型副本，研究人员可以借此观察模型能力随训练进行的变化。^[2]

商用需要提交申请，适用于日活跃用户少于 100 万的服务。^[2]

技术报告以 arXiv:2309.10305 编号发表于 arXiv，标题为《Baichuan 2: Open Large-scale Language Models》。^[3]

影响

此次发布延续了百川智能公开模型的做法，同时公开了训练细节、研究用检查点和授权条款，方便其他人评估这些模型。《中国日报》的报道也让这次发布在公司自身渠道之外有了公开记录。^[4]对普通读者来说，这是一个有日期、有文献可查的例子：一家中国公司以两种规格发布了一组大语言模型，并把评测数字和使用条款一并公开。