BigScience 发布 1760 亿参数开放多语言模型 BLOOM

背景 BigScience是一个研究工作坊，汇聚了大量研究人员，共同构建一个开放的语言模型，由Hugging Face协调。这种规模的大语言模型训练成本很高，该项目依赖共享的计算资源，并依据一套共同的规则决定模型及其数据如何发布。^[1] 语言模型通过学习文本中的规律来预测和生成语言，参数越多，一般意味着模型有更大的能力去学习这些规律。 ## 发生了什么 2022年7月12日，由Hugging Face协调的BigScience工作坊发布了BLOOM，这是一个拥有1760亿参数的语言模型。^[1] 该模型以开放模型的形式发布，其权重依据BigScience项目期间制定的负责任AI许可证（RAIL）提供。^[1] ## 关键细节 BLOOM覆盖46种自然语言和13种编程语言。^[1] 覆盖多种语言意味着该模型不局限于英语，这一点对研究语言技术如何分布的读者来说值得关注。 来自70多个国家、250多个机构的1000多名研究人员参与了模型的构建。^[1] 这一庞大的群体，是该项目被视为协作成果而非单一公司工作的原因之一。 训练持续了117天，时间从2022年3月11日至2022年7月6日。训练在法国的Jean Zay超级计算机上进行，所用算力由CNRS和GENCI提供，估计价值约300万欧元。^[1] 算力资助是为项目分配的计算时间，其费用数字是来源中的估计值，并非精确的财务核算。 权重依据在BigScience期间制定的负责任AI许可证（RAIL）发布。该许可允许使用该模型并在其基础上开发，但设有使用限制。^[1] 这类限制规定了许可方希望排除的用途，适用于所有使用权重的人。 Hugging Face称BLOOM是第一个“完全透明地训练”的多语言大语言模型。它还公开了中间检查点和优化器状态，使其他研究人员能够追踪模型在训练期间的发展。^[1] 中间检查点是训练过程中保存下来的模型快照。 ROOTS训练语料库包含约1.6 TB的文本。^[2] 模型正是从这些数据中学习的，其规模是读者判断这项工作规模时常用的数字之一。 ## 影响 这次发布表明，一个大型多语言模型可以由广泛的研究人员群体公开开发。它的文档、许可和训练记录是该项目持久价值的一部分，使后来的研究人员能够看到做了什么、依据什么条款进行。关注这一模型的读者应当查阅原始文件，而不仅依赖概述。