ChatGLM-6B 对话模型

是什么

ChatGLM-6B 是智谱 AI 与清华大学知识工程组（KEG）在 2023 年发布的开源双语对话模型，参数量约 62 亿^[1]。这个规模的意义在于：它小到可以装进一张消费级显卡，而不需要一整个计算集群。「双语」指同一套权重同时处理中文和英文，「对话」指它被调教成能接住一问一答，而不只是把一段话续写下去。

怎么训练

预训练用了约 1 万亿中英文 token^[1]。token 是模型实际读入的文本单位，大致相当于一个词或词的一部分，所以这个数字说明的是「喂进去了多少文本」。预训练阶段教模型预测下一个 token；此后还要走三步才变成助手：监督微调、反馈自举（feedback bootstrapping）和基于人类反馈的强化学习（RLHF）^[1]。监督微调是拿成对的问答示例告诉模型「回答应该长这样」；基于人类反馈的强化学习则让人对多个候选回答排序，模型朝人偏好的方向调整。一套流程下来，一个只会续写文本的模型学会了按指令作答。

能在什么机器上跑

内存占用是它最实际的特点。推理在 FP16 下约需 13 GB 显存，INT8 下约 8 GB，INT4 下约 6 GB^[1]。这三个数字来自量化（quantization）：把权重用更低精度的数存起来。FP16 用 16 位浮点数保存每个权重，INT8 和 INT4 分别压到 8 位和 4 位整数，省下内存，代价是精度略有损失。没有显卡时，全精度在 CPU 上推理约需 32 GB 内存，仓库建议内存更小的机器改用量化版本^[1]。在 Mac 上，半精度加载约需 13 GB 内存，但量化内核依赖 CUDA，所以 Mac 只能退回 CPU 运行^[1]。

微调的门槛同样不高。P-Tuning v2 是一种参数高效的方法：不训练全部权重，只训练一小部分新增参数。用它在 INT4 下微调约需 7 GB，FP16 下约 14 GB，INT8 下约 9 GB^[1]。也就是说，做推理的那台机器基本也能拿来把模型适配到具体任务上。

授权

代码以 Apache-2.0 发布，权重对学术研究完全开放^[1]。商用免费，但需要通过问卷登记^[1]。研究用途没有附加条件，商业用途走一道登记手续即可；这比只许研究、不许商用的发布宽松，但又不等于无条件的开源许可。

版本演进

2023 年 5 月 15 日的 v1.1 检查点补充了英文指令数据，以减少中英混杂的回答^[1]。6 月 25 日的 ChatGLM2-6B 用 1.4 万亿 token 预训练，基础上下文长度从 2K 扩展到 32K^[1]——上下文长度指模型一次能看住多少文本，从 2K 到 32K 意味着它能一次处理长得多的输入。7 月 25 日发布的 CodeGeeX2-6B 是在 ChatGLM2-6B 之上构建的代码模型^[1]，说明这个基座被拿去做了专门领域的分支。

在发展中的位置

智谱面向消费者的聊天机器人后来以 ChatGLM 的名字为人所知，之后更名为 GLM^[2]。ChatGLM-6B 是这条线走到「个人可以下载、在自己机器上跑起来」的一步：开放的权重、公开的显存预算，以及一条最低压到约 6 GB 显存的量化路径^[1]。