Baichuan-13B

Baichuan-13B 是百川智能（Baichuan）发布的开源大语言模型，参数量为 130 亿（13,264,901,120 个参数），分为基座版（Base）与对话版（Chat）两个版本^[1]。两个版本都以权重文件的形式公开提供下载。

架构与训练

模型共 40 层，隐藏维度 5,120，40 个注意力头，词表大小为 64,000 个 token^[3]。训练使用了 1.4 万亿个 token，上下文长度为 4,096 个 token^[1]。这一训练规模超过了 Meta 为 LLaMA-13B 所用的 1 万亿 token^[2]。

位置信息由 ALiBi（attention with linear biases，带线性偏置的注意力）处理。它不把位置编码进输入向量，而是在注意力分数上加一个与距离有关的偏置项，让模型据此分辨词序，序列变长时开销增长也更平缓。百川表示，ALiBi 的计算量比旋转位置编码（rotary embedding）更小，而后者是上一代模型 Baichuan-7B 使用的方案^[3]。

基准成绩

在 5-shot 设置下——即提问前先在提示中给出五个示例——基座版在 C-Eval 上得 52.4 分，MMLU 51.6 分，CMMLU 55.3 分；对话版分别为 51.5、52.1 和 55.8 分^[1]。C-Eval 与 CMMLU 是覆盖多学科的中文评测集，MMLU 覆盖英文学术科目；不同评测集之间只有在评测设置一致时成绩才可比较。

百川自己给出的、与 LLaMA-13B 的同口径 5-shot 对照为：C-Eval 52.4 对 28.5，MMLU 51.6 对 46.3，CMMLU 55.3 对 31.2^[3]。生成速度方面，生成 2,000 个 token 时 Baichuan-13B 平均达到 25.4 tokens/s，LLaMA-13B 为 19.4 tokens/s，提升 31.6%^[3]。

量化与部署

模型提供 int8 与 int4 两种量化版本。量化是把权重以更低的数值精度存储，从而压缩载入模型所需的显存；int4 版本约占 9.7GB 显存，可以在 NVIDIA 3090 这类消费级显卡上运行^[1]。百川称，量化版相对未量化的模型几乎没有性能损失^[3]。

许可与更新

权重以 Baichuan-13B Model Community License（百川-13B 模型社区许可）发布：注册并获得书面授权后可以商用；源代码采用 Apache 2.0 许可^[1]。Baichuan-13B-Chat 的权重在 2023 年 8 月 1 日做过更新^[1]。

在发展中的位置

Baichuan-13B 是 Baichuan-7B 之后规模更大的后继模型^[3]。它被直接放在 Meta 的 LLaMA-13B 对面：两者属于同一参数级别，百川围绕中英文基准成绩与生成吞吐量给出了对照数据^[3]。以「注册并获书面授权后可商用」的许可开放权重，再加上能装进一张消费级显卡的 int4 版本，使这一规模的模型进入了缺少大规模算力的团队的可用范围^[1][3]。