Preferred Networks 发布首个大模型 PLaMo-13B

背景

大语言模型（large language model）的「权重」是它在训练过程中学到的一整套数值参数。模型发布通常有两种形态：一种放在接口后面，使用者远程调用；另一种是把训练好的权重直接放出来，任何人都可以下载到自己的机器上运行。后一种常被称为「开放权重」（open-weight）发布。权重放出来之后，别人能拿它做什么——尤其是能不能商用——取决于发布方选择的许可证。

发布

2023 年 9 月 25 日，Preferred Networks 公开了 PLaMo-13B ^[1]。这是该公司第一个大语言模型，也是它第一次做开放权重发布 ^[1]。两个「第一次」叠在一起：公司既从零训出了这样一个模型，又在同一时间把权重交给了外部，而不是只留在自家服务后面。

怎么训练的

按公开材料，PLaMo-13B 在 1.5 万亿个 token 上训练，其中 88% 是英文 ^[1]。token 是模型实际处理的单位，大致相当于一个词片段，所以万亿量级的 token 对应的是远超一个人一生阅读量的文本。语言比例之所以重要，是因为它决定了模型在训练中见得最多的是什么：英文占到 88%，意味着它吸收的绝大部分是英文文本。

公司还随发布配了一篇技术博客，讲清训练是怎么搭起来的 ^[2]。把这样的说明和权重一起放出来，外部读者看到的就不只是成品，还有它是怎么造出来的记录。

许可证与测试范围

Preferred Networks 为这次发布选择了 Apache-2.0，使这些权重可以商用，无需另行签订协议 ^[1]。这是一种宽松的开源许可证：不必一事一议地谈条件，也不限于研究用途，条款对所有人一致，商用包含在内。

模型卡上还有一条提醒：测试只覆盖了英语和日语 ^[1]。也就是说，公开的评测没有延伸到其他语言，在其他语言上使用这个模型的人，手上没有一份关于它表现的公开记录。

指令微调版本

一个月后，2023 年 10 月 26 日，出现了指令微调（instruction tuning）版本 ^[1]。指令微调是第二个训练阶段：给模型看成对的「请求—期望回答」样本，让它学会按请求作答，而不只是把文本往下续写。只经过下一个 token 预测训练的基座模型直接拿来用往往别扭，微调版本则是用来被提问、被交代任务的。

为什么重要

这次发布是该公司语言模型工作的起点：它造出的第一个此类模型，也是它第一次公开权重 ^[1]。许可证的选择降低了门槛，想在商业场景里试用这个模型的人不必先谈一份单独的协议 ^[1]。而开放许可证、说明训练方式的技术博客 ^[2]，以及写明测试范围有限的模型卡 ^[1]，三者合起来留下一份书面记录，后来的读者可以拿它对照当时究竟承诺了什么。