苹果基础模型（AFM，2024）

它是什么

苹果基础模型（Apple Foundation Models，简称 AFM）是驱动 Apple 智能的大型语言模型。语言模型（language model）是用大量文本训练出来的程序，能够阅读和生成语言。基础模型（foundation model）指的是一个通用模型，可以针对许多任务进行调整。苹果在 2024 年 6 月 10 日介绍了第一代模型^[1]。它包括两个成员：端侧模型 AFM-on-device，约有 30 亿个参数，直接在手机或电脑上运行；以及服务器模型 AFM-server，规模更大，运行在 Private Cloud Compute 上。后者是苹果为设备上难以完成的请求准备的服务器系统^[1][2]。

参数（parameter）是神经网络内部在训练中不断调整的数值。参数越多，模型通常能力越强，但也需要更多内存和计算量，这也是端侧模型要保持较小规模的原因。

由来

苹果于 2024 年 6 月在其机器学习研究网站的概览文章中公布了这一设计^[1]。更完整的技术报告《Apple Intelligence Foundation Language Models》于 2024 年 7 月 29 日发布在 arXiv 上，第一作者是 Tom Gunter^[2]。报告同时有 HTML 版本，描述了模型架构、训练数据和结果^[3]。

模型使用苹果开源的 AXLearn 框架搭建，该框架基于 JAX 和 XLA 两套工具，用于在加速芯片上运行数值计算^[1]。苹果表示，训练使用了授权数据和由 Applebot 爬虫抓取的公开网页数据，并且没有使用用户的私人数据^[1]。

主要特点

端侧模型有 26 层，模型维度为 3,072。它使用 24 个查询头和 8 个键值头，这种设计称为分组查询注意力（grouped-query attention）；位置编码采用 RoPE。它的词表有 49K 个条目，输入与输出共享同一组嵌入。非嵌入参数为 25.8 亿^[3][1]。服务器模型的词表更大，为 100K 个条目，但苹果没有公布其参数量^[1][3]。

训练分为几个阶段。预训练使用了 6.3 万亿个核心词元（token）；随后是 1 万亿个以代码和数学为重点的词元，长度为 8,192；最后是 1000 亿个词元，上下文长度为 32,768^[3]。词元是一小段文本，通常是一个词或词的一部分；上下文长度则是模型一次能够考虑的文本量。服务器模型从零开始，在 8,192 块 TPUv4 芯片上训练。端侧模型在 2,048 块 TPUv5p 芯片上训练，起点是一个经过剪枝的 64 亿参数模型，并采用蒸馏（distillation）方法，即让小模型学习另一个模型的输出^[3]。

预训练之后，后训练阶段使用了两种新算法：iTeC（迭代式教学委员会）和 MDLOO，后者是一种在线的人类反馈强化学习（RLHF）方法^[3]。

要在手机上运行，就必须压缩模型。端侧模型平均每个权重约 3.7 比特，混合使用 2 比特和 4 比特的调色板化（palettization）。苹果报告，在 iPhone 15 Pro 上约为每秒 30 个词元^[1]。每项功能还可以通过称为 LoRA 适配器的小型附加模块，针对该功能做定制^[1]。

苹果公布的结果包括：端侧模型的 HELM MMLU 得分为 61.4，服务器模型为 75.4。在人工并排比较中，端侧模型对 Phi-3-mini 的胜率为 47.7%，服务器模型对 GPT-3.5 的胜率超过 50%^[3]。

在发展中的位置

这一代模型是 2024 年后期 Apple 智能功能的基础。它的后继者是 2025 年 6 月宣布的第二代，其服务器模型采用了混合专家（mixture-of-experts）结构，并增加了图像理解能力^[4]。因此，2024 年的模型最好被看作苹果每年持续更新的系列中的第一步。