苹果发布开放语言模型 OpenELM

背景

大多数公司发布的大型语言模型，通常只附带最终权重和简短说明。苹果的 OpenELM 发布范围更广：它是一组小型模型，同时提供了检查和复现其制作过程的材料。发布通过 arXiv 上的论文和 Hugging Face 上的模型文件进行。arXiv 是研究人员分享论文的公开服务器，Hugging Face 则是托管开放模型的平台。

发生了什么

2024 年 4 月 22 日，苹果研究人员在 arXiv 上发布了 OpenELM 论文，并发布了模型^[1][2]。Hugging Face 上发布了八个检查点：2.7 亿、4.5 亿、11 亿和 30 亿参数，每种规模都有基础模型和指令微调模型两个版本^[2]。参数是网络内部在训练中设定的数值，参数数量大致反映了模型的规模。

模型使用苹果的 CoreNet 库，在约 1.8 万亿个公开数据词元上完成预训练^[2]。词元是一小段文本，通常是一个词或词的一部分。使用公开数据，意味着任何人都可以获得这些材料，因此外界也能描述和核验训练过程。

关键细节

苹果发布的内容不止权重。发布包中有训练日志、检查点和训练配置，使训练的各个阶段都可以被追踪和重复^[1]。配置文件记录了一次训练所用的设定，例如模型规模和学习的数据。没有它，结果就很难复现。

发布还包括把模型转换为 MLX 的代码，使模型能在苹果设备上运行^[1]。MLX 是苹果为自家芯片开发的机器学习库。转换代码把模型改写成该库能够读取的格式，使模型可以在 Mac 或 iPhone 上运行和微调。

权重采用苹果的示例代码许可证发布^[2]。该许可证规定了权重的使用条件。打算使用这些模型的读者，应先阅读 Hugging Face 页面上的许可证原文。

影响

这次发布为研究人员和学生提供了一个完整的小型模型供研究。许多开放发布只公布最终权重，使人难以了解模型的训练方式或复现过程。OpenELM 展示了一种更完整的做法，附带日志和配置，并以苹果的名义推出。

这次发布也体现了小型模型的价值。几亿或几十亿参数的模型，可以在普通硬件上运行，使一些在超大模型上成本过高的实验变得可行。苹果在发布权重的同时公开日志和检查点，使这次发布的训练过程清晰可见。

对研究者来说，训练日志和检查点都可以获取，意味着同一模型在训练不同阶段的表现可以被逐一对照。小型模型还能在普通硬件上运行，使实验的门槛较低。