百川智能发布首个开源模型 Baichuan-7B

背景

2023 年 6 月，成立约两个月的百川智能发布了 Baichuan-7B，采用开源方式发布^[1]。开源意味着模型的权重和说明文档对外公开，开发者可以下载、运行并在此基础上继续开发，而不只是通过接口调用模型。

模型概况

Baichuan-7B 是一个 70 亿参数的语言模型。参数是模型在训练中学习到的数值权重，决定它的行为方式。该模型在约 1.2 万亿个 token 上训练，token 是模型训练时读取的文本单位。它同时支持中文和英文，是一个中英双语模型^[2]。

根据 GitHub 上的模型卡，模型支持的上下文长度为 4096 个 token，也就是一次最多能读入的文本量^[2]。

评测结果

官方给出了两项基准成绩，均采用 5-shot 设置，即在让模型执行任务之前先给它 5 个示例。Baichuan-7B 在中文评测基准 C-Eval 上得分 42.8，在覆盖多学科英文题的 MMLU 上得分 42.3^[2]。在 C-Eval 的 hard 子集上，其平均分为 31.5^[2]。

使用许可

Baichuan-7B 并非完全无条件开放：百川智能允许在登记并取得书面授权后用于商业用途^[2]。这种安排让研究者和企业都能使用模型，同时让开发者了解商业使用者的大致范围。

意义

在公司成立两个月后就发布 70 亿参数的开源模型，使 Baichuan-7B 处在中文开源权重语言模型的第一批发布之列。一个带有模型卡、评测数据和明确许可条款的开源模型，为外部开发者提供了一个可以测试和比较的具体基线，也为公司后续模型留下了公开的参照点。在中英文两个基准上都在 40 分出头，同样记录下了当时这一规模的较小开源模型在双语任务上的水平^[2]。

在发展中的位置

作为百川智能最早公开的模型，Baichuan-7B 以开放的权重、可查的评测数字和写明的许可条件出现，让外界能够直接运行、对比和检验这个模型，也让公司的模型路线从第一个公开版本起就有据可查^[1][2]。