Baichuan 2

是什么

Baichuan 2 是百川智能的第二代开源模型系列。它于2023年9月6日发布，有 7B 和 13B 两种规格。^[1]每种规格都有基础版（Base）和对话版（Chat），公司还发布了 4 位量化的对话模型。^[2]

基础版是在大量文本上完成预训练的模型；对话版在此基础上继续训练，使其能回答问题、进行对话。4 位量化模型用 4 个比特位保存参数，而通常使用 16 个比特位，因此运行时占用的空间小得多。

由来

这一系列延续了百川智能第一代开源模型，其中包括 Baichuan-7B。^[1]公司在发布时同时公开了代码仓库、技术报告和一组供研究使用的材料。^[2][3]

主要特点

Baichuan 2 的训练数据为 2.6 万亿词元。^[2]词元是模型读取文本的基本单位，这一数字可以大致反映模型在训练中读过的文字量。

量化会改变运行所需的硬件。百川智能报告称，4 位量化使 13B 模型所需的显存从 27.5GB 降到 8.6GB。^[2]

公司还发布了 7B 模型的 11 个中间检查点，取自训练过程中约 0.2 万亿到 2.4 万亿词元之间的各个节点，供研究使用。检查点是训练过程中保存下来的模型副本，研究人员可以借此观察模型的变化。^[2]

2023年12月29日，公司发布了 Baichuan2-13B-Chat v2，改进了数学、逻辑推理和复杂指令的遵循能力。^[2]

评测结果

评测基准（benchmark）是用来比较模型能力的标准化测试。百川智能公布的 Baichuan2-13B-Base 结果（5-shot）为：C-Eval 中文综合考试 58.10，MMLU 大规模多任务语言理解 59.17，中文版的 CMMLU 61.97。GSM8K（小学数学应用题，4-shot）为 52.77，HumanEval（代码生成，0-shot）为 17.07。^[2]

7B 基础版的结果为：C-Eval 54.00，MMLU 54.16，CMMLU 57.07。^[2]这些都是公司自己公布的数字，记录在其技术报告中。

授权

模型采用 Apache 2.0 许可，并附加 Baichuan 2 模型社区许可证。商用需要提交申请，且仅限日活跃用户少于 100 万的服务，并且使用方须为非软件或云服务提供商的公司。^[2]

在发展中的位置

Baichuan 2 是百川智能开源模型进入第二代的节点，两种规格、量化版本、训练检查点和技术报告同时公开。技术报告题为《Baichuan 2: Open Large-scale Language Models》，编号 arXiv:2309.10305。^[3]维基百科记载，某个 Baichuan2 版本的上下文窗口可以处理约 35 万个汉字。^[4]