清华与智谱发布开源双语千亿模型 GLM-130B

背景

GLM-130B 由清华大学 KEG 实验室与智谱（Zhipu AI）合作完成。^[1][2]该模型基于 GLM 架构构建，这一架构采用的预训练方法是自回归空白填充（autoregressive blank infilling）。^[2][1]

发生了什么

GLM-130B 的论文于 2022 年 10 月 6 日发布。^[1][2]项目以开放双语模型的形式公布，拥有 1300 亿参数，代码与权重分别适用不同的许可证。^[1]

关键细节

截至 2022 年 7 月 3 日，训练数据已超过 4000 亿个文本词元（token），其中中文和英文各 2000 亿。^[1]中英文训练数据各占一半，是这一模型成为双语模型的基础。

推理（inference，即运行训练好的模型生成输出）需要单台服务器配备 8 块 A100（40G）或 8 块 V100（32G）GPU。使用 INT4 量化后，模型可以在 4 块 RTX 3090（24G）GPU 上运行，性能几乎没有损失。^[1]项目报告称，在 LAMBADA 上，GLM-130B 比 GPT-3 175B 高 4.0%，比 OPT-175B 高 5.5%，比 BLOOM-176B 高 13.0%；在 MMLU 上略高于 GPT-3 175B 0.9%。^[1]

在中文基准上，该模型在 7 个零样本 CLUE 数据集上比 ERNIE TITAN 3.0 260B 高 24.26%，在 5 个零样本 FewCLUE 数据集上高 12.75%。^[1]

论文于 2023 年 1 月 21 日公布，并被 ICLR 2023 接收。^[1]

影响

这一发布为研究者提供了规模较大的开放双语模型，其权重与代码可以直接用于研究。对读者而言，这一事件是 GLM 系列的起点，该系列之后有 2023 年的 ChatGLM 对话模型。^[2]

双语开放模型的价值

双语模型在两种语言上训练，因此同一套系统即可处理两种语言。开放权重使其他机构的研究者可以下载模型、在自己的任务上测试并在其基础上继续工作。本次发布分别使用了两种许可证，代码与权重各自适用不同的条款。