OpenELM

一个小模型家族

OpenELM 是 Apple 推出的一系列小型开放语言模型，共有 270M、450M、1.1B 和 3B 四种参数规模。每一档规模都发布两个版本：预训练的基础模型，以及经过指令微调的版本^[2]。四档中最大的一档也只有 3B 参数，属于通常可以在有限算力下运行和微调的量级。

由来

这一系列模型由一篇论文描述，论文于 2024 年 4 月 22 日首次发布在 arXiv 上，共有 11 位作者，由 Sachin Mehta 领衔^[1]。Hugging Face 上的模型卡把 Sachin Mehta、Mohammad Hossein Sekhavat 和 Qingqing Cao 列为这 11 位作者中的三位^[2]。

逐层缩放

标准 Transformer 的各层结构相同，因此每层容纳的参数数量也一样。OpenELM 的做法不同：它采用逐层缩放（layer-wise scaling），在 Transformer 的各层之间不均匀地分配参数，而不是平均切分^[1]。论文报告说，这种不均匀分配提高了准确率^[1]。其背后的思路是：总参数量确定之后，参数在层与层之间怎么分，本身就是一个可以调的设计变量，和层数、宽度属于同一类选择。

训练数据

预训练使用了约 1.8 万亿个 token，来自若干公开数据集：RefinedWeb、去重后的 PILE（deduplicated PILE）、RedPajama 的一个子集，以及 Dolma v1.6 的一个子集^[2]。预训练借助 Apple 的 CoreNet 库完成^[2]。

报告的结果

在约 10 亿参数这一档，OpenELM 报告的准确率比 OLMo 高 2.36%，而所用的预训练 token 只有后者的一半^[1]。这类比较关注的不是不惜代价地追求能力上限，而是在给定的训练数据和算力下能换来多少准确率。

「开放」包括什么

Apple 公开的内容不只是最终权重，还包括完整的训练与评测框架、训练日志、多个检查点以及预训练配置^[1]。代码和训练配方放在 GitHub 的 apple/corenet 仓库中，模型放在 Hugging Face 上，采用 apple-sample-code-license 许可^[1][2]。

发布内容里还有把模型转换为 MLX 的代码，MLX 是 Apple 用于在自家设备上做推理和微调的库，转换之后模型可以在这些设备上运行和适配^[1]。已发布的模型通过 transformers 库加载，需要开启远程代码（remote code）^[2]。

在发展中的位置

OpenELM 属于把训练过程本身也当作可公开内容的那一类语言模型工作。权重任何人都能下载，但把框架、日志和中间检查点一并放出，意味着外部研究者能看到模型是怎么一步步走到这个状态的，可以重跑流程中的部分环节，也可以把逐层缩放这类设计选择与自己的方案对比^[1]。与此同时，提供转换成 MLX 的路径，把这一系列模型和 Apple 自己的软硬件栈连在一起；而在 Hugging Face 上发布，又让它能直接用上多数开发者手头已有的工具^[1][2]。模型按 apple-sample-code-license 分发，使用条件以该许可的条款为准^[2]。