BLOOM

是什么 BLOOM是一个开放的多语言大语言模型，于2022年7月12日由BigScience发布。BigScience是一个为期一年的开放研究工作坊，由Hugging Face协调。^[1][2] 大语言模型是在海量文本上训练的神经网络，能够预测并生成语言。BLOOM拥有1760亿个参数，即模型在训练中学到的数值。它是基于Transformer的自回归模型，属于仅解码器（decoder-only）的类型，意味着它逐个生成词元（token），每个词元都依赖于之前的内容。该模型使用Megatron和DeepSpeed两个软件框架构建，二者都用于高效地训练超大模型。^[1][2] ## 由来 该项目始于BigScience工作坊，工作坊于2021年4月28日启动，汇聚了规模很大的研究人员群体。该模型由来自70多个国家、250多个机构的1000多名研究人员共同构建。^[1][4] 工作坊的目标是产出一个开放、透明的模型，本次发布正是这一工作的成果。 训练持续了117天，时间从2022年3月11日至2022年7月6日。训练在法国的Jean Zay超级计算机上进行，所用算力由CNRS和GENCI提供，估计价值约300万欧元。模型卡列出的硬件为384块A100 80GB GPU。^[1][3] A100是英伟达（NVIDIA）生产的数据中心图形处理器，80GB指每块芯片的显存容量。超级计算机是规模极大的计算系统，而算力资助则是为某一项目分配的计算时间。 ## 语言与数据 BLOOM可以生成46种自然语言和13种编程语言的文本。^[1] 训练数据为ROOTS语料库，约1.6 TB文本，约合3660亿个词元，其中OSCAR贡献了38%。^[2] 词元是模型读取和生成文本时使用的基本单位，通常是一个词或词的片段。语料库即用于训练的文本集合。 ## 许可与获取 模型权重依据BigScience负责任AI许可证（RAIL）v1.0发布。该许可允许再利用，但对模型的使用设有限制。^[1][2] 源代码采用Apache 2.0许可证，这是一种宽松的开源许可证。^[1][2] 上线时，用户可以下载模型，也可以通过托管的推理API使用。^[1] ## 透明性 BLOOM被描述为第一个“完全透明地训练”的多语言大语言模型。团队还公开了中间检查点和优化器状态，使其他研究人员能够观察模型在训练过程中的变化。^[1] 优化器状态记录的是训练过程中用于调整模型权重的数值。 ## 后续模型 BLOOMZ是在xP3数据集上微调、能够遵循指令的版本。BLOOM还为包括BLOOMChat和HuggingChat在内的聊天机器人提供了支持。^[2] 微调指在一组更窄的示例上对已有模型进行进一步训练，这里的目的是让模型学会遵循指令。 2023年2月，Hugging Face与AWS建立合作。公司表示，下一代BLOOM将运行在AWS的Trainium芯片上。^[4] Trainium是亚马逊为训练机器学习模型而设计的定制芯片。 ## 影响 BLOOM是开放、多语言模型开发的一个参照。它的数据、许可和训练过程都有公开的记录，并表明一个大型模型可以由研究人员协作训练，而不必依赖单一公司。想要使用或研究该模型的读者，应当先查阅许可条款和模型卡，因为附加在权重上的限制决定了其能够被如何使用。