PLaMo-13B（PFN 日英双语模型）

这是什么

PLaMo-13B 是 Preferred Networks 发布的大语言模型。2023 年 9 月 25 日，公司把模型上传到 Hugging Face^[1]。名字里的 13B 指 130 亿参数。结构上它是仅解码器（decoder-only）模型，以 LLaMA 为基础。这类模型做的事很单一：读入已有的文字，预测下一个词元（token），把预测出的词元接到后面再预测，如此反复，一段完整的回答就是这样一个个词元生成出来的^[1]。它的预训练语料由英语和日语的公开数据集混合而成，设计目标是同时处理两种语言，而不是只做英语^[1]。

训练用了什么

预训练共覆盖 1.5 万亿个词元，其中 1.32 万亿是英语、0.18 万亿是日语^[1]。也就是说英语占了大头，日语是相当比例的第二语言。英语部分来自 C4、Project Gutenberg、RedPajama 和英文维基百科^[1]，日语部分来自 mC4 和日文维基百科^[1]。粗略地说，C4 与 mC4 是清洗过的网页抓取语料，带 m 的是多语版本；Project Gutenberg 提供公版书籍；RedPajama 是为训练语言模型整理的开源语料集合；维基百科提供百科体文字。把网页、书籍和百科混在一起，是让模型同时见到日常语言和经过编辑的长文的常见做法。

文字在训练前要先切成词元，PLaMo-13B 使用 SentencePiece 分词器，其训练数据取自预训练语料的一个子集^[1]。用模型自己的语料来训练分词器，意味着词表会贴合模型实际要读的语言和文本类型；当一个模型要同时覆盖英语和日语时，这一点尤其重要。模型的上下文长度是 4,096 个词元^[1]，即它一次能「看到」的文本量，提问和回答都算在这段长度之内。

许可与发布

PLaMo-13B 以 Apache-2.0 许可发布，从发布起就允许商用^[1]。对放出权重的公司来说，许可协议和模型本身的能力同样关键：宽松的许可意味着别的机构可以直接在它之上做产品、用自己的数据继续微调、再对外分发，而不必逐家谈判授权。配合这次发布，Preferred Networks 还在其技术站点上发了一篇介绍文章^[2]。

后续版本

指令微调版本 PLaMo-13B-Instruct 在 2023 年 10 月 26 日跟进发布^[1]。指令微调是在「会接着往下写」的基础模型上，用指令与合适回答配对的样例继续训练，让它按请求作答，而不是单纯续写眼前的文字。基础模型与指令版本相隔大约一个月，这是开放模型常见的节奏：先放出基座，再放出可以直接使用的那一版。

在发展中处于什么位置

PLaMo-13B 属于一批把英语之外的语言当作正经目标、并且开放许可的模型。130 亿参数处在中等规模：大到足以容纳相当广的语言知识，又小到研究团队和较小的公司有条件做微调和部署。宽松的许可、开放的基座模型、日英双语的语料，这三者组合起来，使它适合作为日语相关工作的起点——领域适配、评测，或者在基座权重上搭建能听懂指令的系统。