GLM-130B 双语大模型

是什么

GLM-130B 是一个开源的中英双语稠密语言模型，参数量为 1300 亿，由清华大学 KEG 实验室与智谱 AI 联合发布，论文于 2022 年 10 月 6 日发布。^[1][2] 它建立在 GLM 架构之上：GLM 在 2022 年 ACL 论文中提出了名为「自回归空白填充（autoregressive blank infilling）」的预训练目标，而项目仓库把 GLM-130B 描述为一个双向稠密模型。^[2][1] 这里的「稠密（dense）」指推理时每个词元都要经过整个网络，与只激活部分参数的稀疏混合专家模型相对。截至 2022 年 7 月 3 日，模型训练使用了超过 4000 亿个文本词元，中英文各 2000 亿。^[1]

由来

GLM-130B 的论文于 2022 年 10 月 5 日提交到 arXiv，署名作者共 18 位，其中包括 Aohan Zeng 和 Jie Tang。^[3] 作者把目标写得很直接：开源一个千亿参数规模的模型，水平至少不输 GPT-3（davinci）。^[1][3] 项目自己列出的对照对象，是当时几个最大的开放模型——GPT-3 175B、OPT-175B 和 BLOOM-176B，这大致勾勒出它当时所处的竞争位置。^[1]

怎么跑起来

这个项目反复强调的一件事是：这么大的模型不该只有数据中心才用得起。推理可以在一台配 8 张 A100（40G）或 8 张 V100（32G）的服务器上完成。^[1] 2022 年 8 月 24 日，团队放出了 GLM-130B 的 INT4 量化版本，在这一形式下模型可以跑在 4 张 RTX 3090（24G）上，性能几乎没有损失。^[1] 配合 FasterTransformer，仓库报告在单台 A100 服务器上生成速度最高提升到 2.5 倍。^[1] 训练与推理均列明支持 NVIDIA 硬件，也支持海光 DCU 和昇腾 910，而孙杨——此处指 Sunway 平台的支持被标注为「即将发布」。^[1] 代码以 Apache-2.0 许可发布，模型权重则适用单独的模型许可证。^[1]

成绩

在 LAMBADA 基准上，作者报告的成绩比 GPT-3 175B 高 4.0%、比 OPT-175B 高 5.5%、比 BLOOM-176B 高 13.0%；在 MMLU 上比 GPT-3 175B 略高 0.9%。^[1] 中文基准上的差距更明显：在 7 个零样本 CLUE 数据集上，它比 ERNIE TITAN 3.0 260B 高出 24.26%，在 5 个零样本 FewCLUE 数据集上高出 12.75%。^[1] 需要注意，这些都是作者自己报告的数字，而不是第三方中立评测；这类基准也会随着模型和测试集的变化很快过时。

在模型谱系中的位置

这项工作被 ICLR 2023 接收，消息于 2023 年 1 月 21 日公布。^[1] 它也是 2023 年发布的 ChatGLM 系列对话模型的前身，后者把同一条研究路线从基座语言模型推进到了聊天产品。^[2] 整体来看，GLM-130B 更像是一个关于「可获取性」的主张：权重、代码和推理方案全部公开，量化后小到能塞进消费级显卡，而在作者选定的基准上又足以与当时最大的开放模型同台比较。^[1][3]