Stable LM

Stable LM 是什么

Stable LM 是 Stability AI 发布的一系列语言模型。2023 年 4 月 19 日，这一系列的首批模型以 alpha 版本推出，参数量分别为 30 亿和 70 亿，Stability 表示之后还会推出 150 亿和 650 亿参数的模型^[1]。参数（parameter）是神经网络在训练中不断调整的数值权重，参数量常被用来粗略衡量模型大小：30 亿参数属于偏小的一端，650 亿参数则属于偏大的一端。

怎么发布的

基础模型发布在 Stability 的 GitHub 上，采用 CC BY-SA-4.0 许可证，允许商用，也允许研究用途^[1]。公开的是模型权重本身，而不只是一个可以调用模型的接口，因此其他人可以把模型拿来在自己的基础上继续开发；这一许可证带有「相同方式共享」的要求，所以修改后的版本也要按同样的条款传下去。

两类模型，两套许可

这次发布分成两条产品线，条款不同。基础模型是通用的文本预测模型：它在大规模文本上训练，学会把一段话接着写下去，可以用于商用或研究，前提是遵守 CC BY-SA-4.0 许可证^[1]。与基础模型一同发布的还有经过指令微调（instruction tuning）的研究模型，它们在 Alpaca、GPT4All、Dolly、ShareGPT 和 HH 数据上微调，以 CC BY-NC-SA 4.0 发布，仅限研究使用^[1]。指令微调是把「会接着写」的模型变成「会按要求作答」的模型的那一步：用成对的指令和回答训练它。Stability 称，其指令微调研究模型是按照斯坦福 Alpaca 的流程微调的^[2]。

训练数据

Stability 表示，训练使用的是一个建立在 The Pile 之上的实验性数据集，规模约为后者的三倍，包含 1.5 万亿个 token 的内容^[1]。token 是模型读写文本的单位，可以是一个词，也可以是词的一部分，这个数字描述的是训练语料的体量。

后续更新

初次 alpha 发布之后，代码仓库持续有更新。2023 年 8 月 5 日，Stability 发布了修补后的 StableLM-Alpha v2 模型，包含 30 亿和 70 亿参数两个版本^[2]。2023 年 9 月 29 日，又以 CC BY-SA-4.0 发布了 StableLM-3B-4E1T^[2]。这两次更新都与最初的发布放在同一个 GitHub 仓库里^[2]。

在发展中的位置

Stable LM 的特点可以概括为「开放权重加分层许可」：基础模型以允许商用的许可证公开，指令微调版本则只对研究开放。这种安排让机构可以广泛放出基础权重，同时对建立在基础上的微调版本保留更紧的条款。对使用者来说，由此得到的一个实际结论是：判断一个模型能不能用、能怎么用，要看的不是它属于哪个系列，而是它挂的是哪一张许可证。

从 4 月的 alpha 版本，到 8 月的修补版 v2，再到 9 月另起名字的 3B 模型，这几个月里这个系列是被不断修订的，而不是一次性发布完就固定下来；公开工作的重心仍然落在 30 亿和 70 亿这两个较小的规格上，而已公布的 150 亿和 650 亿参数模型当时还处在「将要推出」的阶段^[1][2]。