Baichuan-7B

是什么

Baichuan-7B 是一个面向中文和英文的语言模型，参数量为 70 亿，2023 年 6 月以开源形式发布 ^[1][2]。它是百川（Baichuan）发布的第一个模型 ^[1][2]。名字里的「7B」指的是网络中权重参数的数量，它大致衡量模型规模，也决定了运行模型需要多少算力。

结构与训练

模型训练使用了约 1.2 万亿个词元（token）^[1]。词元是语言模型实际读取的单位，大致相当于一个词或词的一部分，因此这个训练量对应着极大量的文本。训练时的上下文长度为 4096 个词元，也就是说模型在学习时以这个长度的文本片段为单位；百川表示测试显示模型可以外推到远超 5000 个词元，而模型卡上列出的上下文长度为 4096 个词元 ^[1]。上下文窗口决定了模型回答问题时一次能读入多少文本——一段话、一轮对话，或一份文档的片段。

在结构上，Baichuan-7B 采用跟随 LLaMA 的标准 Transformer 设计，使用旋转位置编码（rotary position embedding）、SwiGLU 激活函数和 RMSNorm 前置归一化 ^[1]。这些都是它那一代开源语言模型中常见的构件。旋转位置编码通过旋转词的表示来编码它在序列中的位置，使模型能够处理语序；SwiGLU 是 Transformer 块内部前馈层的激活函数变体；RMSNorm 前置归一化则在每个子层之前对信号做归一化，让训练更稳定。

它的分词器是 SentencePiece BPE，词表大小为 64,000 个词元 ^[1]。字节对编码（BPE）把文本切分成高频出现的片段而不是整词，这样规模的词表可以让模型用较少的词元同时覆盖中文和英文。

评测成绩

百川给出的成绩是 5-shot 测试结果，即每道题之前在提示中放入 5 个示例。C-Eval 平均分为 42.8，C-Eval 困难子集平均分为 31.5，MMLU 平均分为 42.3 ^[1]。C-Eval 是中文评测集，MMLU 是覆盖多学科的选择题测试，困难子集则是 C-Eval 中较难的那部分。模型在高考单选题上平均 36.24 分，在 AGIEval 四选一题上平均 34.44 分 ^[1]。这些数字是模型卡自己报告的各基准平均分，反映的是一个小型开源模型的水平，而不是当时的最好成绩。

许可与使用

源代码以 Apache 2.0 许可发布，模型在注册并获得百川书面授权后支持商业使用 ^[1]。这种「代码宽松、权重附条件」的做法，后来成为中文开源模型常见的许可方式。维基百科提到，该模型曾被高校研究人员使用 ^[2]。

在模型序列中的位置

Baichuan-7B 之后是规模更大的 Baichuan-13B，随后是 2023 年 9 月 6 日发布的 Baichuan 2 ^[1]。Baichuan 2 在日期为 2023 年 9 月 6 日的一则更新中公布，被介绍为新一代开源模型，提供 7B 和 13B 两种规模 ^[1]。因此，Baichuan-7B 是一条模型线的起点，这条线在同一年里既扩大了规模，也完成了换代。