百川智能开源 Baichuan-13B

背景

百川智能是一家中国的人工智能公司，创始人王小川同时也是搜狗的创始人。在发布 Baichuan-13B 之前，公司已经推出 Baichuan-7B，它的训练数据量为 1.2 万亿词元。^[1]

发生了什么

2023年7月，百川智能发布了 Baichuan-13B。^[2]该模型以开源形式发布了两个版本：基础版 Baichuan-13B-Base 和对话版 Baichuan-13B-Chat。^[1]基础版是在大量文本上完成预训练的模型；对话版则在此基础上继续训练，使其能够回答问题、进行多轮对话。

这里的开源，是指模型的权重（即模型学到的全部参数）被公开，使用者可以下载并在自己的机器上运行。大语言模型（LLM）是通过阅读大量文本学习语言规律，再根据输入生成文字的程序。

关键细节

模型的训练数据为 1.4 万亿词元，比 Baichuan-7B 使用的 1.2 万亿更多。词元是模型读取文本的基本单位，通常是一个词或一个词的一部分，词元数量可以大致反映模型在训练中读过多少文本。^[1]

Baichuan-13B 采用 ALiBi 位置编码，上下文长度为 4,096 个词元。位置编码让模型知道每个词在句子中的位置，上下文长度则决定模型一次能够考虑多少文字。^[1]

公司还发布了 int8 和 int4 两种量化版本。量化是用更少的比特位保存模型中的数字，从而减少运行时占用的内存，使模型能在消费级显卡上运行。^[1]

模型注册后可以商用，授权方式为社区许可证。^[1]

影响

Baichuan-13B 体现了百川智能当时的做法：公开模型、说明训练规模和硬件需求，并在注册后允许商用。对普通读者来说，它是一个具体的例子，说明一家中国公司如何把大语言模型开放给任何人下载、测试，并在自己的硬件上运行。