Stability AI 发布 Stable LM 语言模型

发布了什么

2023 年 4 月 19 日，Stability AI 发布 Stable LM 系列语言模型的第一批模型：参数量为 30 亿和 70 亿的 alpha 版本^[1]。公司同时表示，150 亿和 650 亿参数的更大版本会在之后推出^[1]。

参数是神经网络在训练中学习到的数值，参数量大体反映模型的容量：参数越多，能记住的模式越多，但训练和运行所需要的算力也越大。

训练数据

这批模型在一个以 The Pile 为基础构建的新数据集上训练，规模为 1.5 万亿个 token^[1]。token 是文本被切分后的小片段，通常是一个词或词的一部分，因此 token 数可以用来衡量模型读过多少文本。Stability 表示，这个数据集比 The Pile 本身大三倍^[2]。

基础模型与指令微调模型

发布的有两组模型。基础模型采用 CC BY-SA-4.0 许可，允许商业用途和研究用途^[1]。这类许可中的「相同方式共享」条款意味着，如果修改后的版本对外分发，就要沿用同样的许可。

指令微调版本仅限研究使用^[1]。它们是在五个开源对话数据集上微调得到的，即 Alpaca、GPT4All、Dolly、ShareGPT 和 HH^[2]。指令微调的做法是在基础模型上继续训练，喂给它「一条指令 + 一个合适的回答」这样的样例，让它学会回应请求，而不是单纯接着往下写：对基础模型说「把这段话总结一下」，它可能只是顺着同样的文风继续写；经过微调的模型更可能真的给出摘要。指令微调版本采用非商用的 CC BY-NC-SA 4.0 许可，与斯坦福 Alpaca 的许可保持一致^[2]。

模型能做什么

Stable LM 模型既能生成文本，也能生成代码^[2]。Stability 表示，这些模型在对话和编程任务上表现良好，而它们的参数量只有 30 亿到 70 亿，相比之下 GPT-3 有 1750 亿参数^[2]。

发布方式与后续

模型发布在一个 GitHub 仓库中^[2]。Stability 承诺之后会给出完整的技术报告，并宣布了一项众包的 RLHF 计划，同时提到与 Open Assistant 的合作^[2]。RLHF（reinforcement learning from human feedback，基于人类反馈的强化学习）是一种调整模型的方法：让人类判断几个输出里哪个更好，再用这些判断作为训练信号，而不是只依赖固定的文本语料。

意义

这次发布是开放语言模型如何打包上架的一个清楚例子。两组模型带着不同的许可同时放出：基础模型可以在共享许可下商用，指令微调模型则被限制在研究用途，其许可特意与斯坦福 Alpaca 的许可对齐，而 Alpaca 的数据也是它微调数据混合的来源之一^[1][2]。模型以可下载文件的形式放在公开仓库里，随附说明交代了训练数据、每个版本的预期用途，以及一份尚待发布的技术报告^[1][2]。Stability 也把结果放在规模对比里讲：30 亿到 70 亿参数的模型，在对话和代码任务上被说成表现良好，而对比对象是 1750 亿参数的模型^[2]。在放出权重的同时宣布众包 RLHF 计划，指向了这类模型的下一步——靠人类反馈继续改进表现，而不只是靠更多的预训练数据^[2]。