智谱开源可在消费级显卡运行的 ChatGLM-6B

背景

在大规模对话模型向公众开放的这段时间里，能力最强的那些通常只能通过厂商的接口使用：权重留在公司的服务器上，研究者既不能查看，也不能在本地运行或微调。一个参数量足够小、权重又公开的模型，会改变学生和学术团队使用它的方式。

一个中英双语的 62 亿参数模型

ChatGLM-6B 由智谱 AI 与清华大学知识工程实验室（Knowledge Engineering Group，KEG）在 2023 年发布，是一个中英双语的对话模型，参数量约 62 亿，代码和权重都对外公开。^[1] 参数是网络在训练中学习到的数值，数量多少大致反映模型的容量；62 亿在同类对话模型里属于偏小的规模，而这正是它能在单张显卡上运行的前提。

训练方式

模型先在约 1 万亿中英文 token 上做预训练，然后进入对齐阶段：监督微调（supervised fine-tuning）、反馈自举（feedback bootstrapping）和基于人类反馈的强化学习（reinforcement learning from human feedback）。^[1] 监督微调用「指令—好答案」的样例训练模型；基于人类反馈的强化学习则让人对若干候选回答作出比较或排序，再让模型向更受偏好的回答靠拢；反馈自举用模型自身的输出不断扩充可用于训练和反馈的材料。

在单张消费级显卡上运行

仓库给出了推理所需的显存：FP16 约 13 GB，INT8 约 8 GB，INT4 约 6 GB。^[1] FP16、INT8、INT4 指每个权重用多少位来存储：半精度每个数占 16 位，8 位和 4 位则把权重压缩，显存占用随之下降，代价是数值精度有所损失。

微调方面，仓库的硬件表显示，使用 P-Tuning v2 时 FP16 约需 14 GB、INT8 约需 9 GB。^[1] P-Tuning v2 属于参数高效微调：它不更新全部权重，只训练少量新增参数，基础模型基本不动，因此显存和存储开销都更小。

许可

代码以 Apache-2.0 发布；权重对学术研究完全开放，商业使用免费，但需要通过问卷登记。^[1] 两者是分开的：代码用的是通行的开源许可，权重则有自己的条款，要求商业使用者先做登记。

版本更新

仓库的更新日志记录了首次发布之后的几次进展。2023 年 5 月 15 日的 v1.1 检查点加入了英文指令微调数据。^[1] 2023 年 5 月 17 日的日志列出 VisualGLM-6B，这是一个支持图像理解的多模态模型。^[1] 2023 年 6 月 25 日出现 ChatGLM2-6B，预训练规模提高到 1.4 万亿 token，基座上下文长度从 2K 扩展到 32K。^[1] 上下文长度指模型一次能读入的文本量，从 2K 到 32K 意味着更长的文档和更长的对话可以被完整处理，而不必截断。

影响

ChatGLM-6B 受到关注，靠的是显存占用和开放权重这两件事叠加：62 亿参数的模型在半精度下约需 13 GB 显存，4 位量化后低到约 6 GB，个人用一张显卡就能运行，而不必只依赖接口调用。^[1] 用 P-Tuning v2 在 9 至 14 GB 的范围内微调，也让改造模型落到了同样的硬件条件上。^[1] 对中文场景尤其如此：一个权重公开的中英双语模型，给学生提供了一个可以查看、复现和修改的系统——读到一个对话模型和真正把它跑起来，差别正在这里。