苹果发布 Apple 智能基础模型技术报告

背景

2024 年 6 月，苹果为 Apple 智能推出了第一代基础模型，即端侧模型 AFM-on-device 和服务器模型 AFM-server。这些模型在苹果机器学习研究网站的一篇概览文章中做了介绍^[3]。概览给出了轮廓，但详细的设计需要更长的文档来说明。这份文档于 2024 年 7 月 29 日发布，同一天，带有 Apple 智能的 iOS 18.1 开发者测试版也开始提供^[3]。

发生了什么

2024 年 7 月 29 日，苹果把《Apple Intelligence Foundation Language Models》发布到 arXiv 上。arXiv 是研究人员分享论文的公开预印本服务器，论文可以在正式发表之前或同时在这里公开^[1]。第一作者是 Tom Gunter，报告的作者总数约为 210 人^[1]。苹果同时发布了报告的 HTML 版本^[2]。

苹果还更新了 6 月的概览文章，使其与报告内容保持一致^[3]。这样，读者可以在两处看到相同的数字。

关键细节

报告涵盖两个模型。端侧模型 AFM-on-device 约有 30 亿个参数。服务器模型 AFM-server 是为 Private Cloud Compute 设计的，这是苹果为设备难以完成的请求准备的服务器系统^[1]。

报告披露了训练所用的硬件。服务器模型在 8,192 块 TPUv4 芯片上训练，端侧模型在 2,048 块 TPUv5p 芯片上训练。核心预训练使用了 6.3 万亿个词元^[2]。词元是一小段文本，通常是一个词或词的一部分。披露这些数字，使研究人员和公众能够把苹果的投入与其他模型的训练加以比较；不过，这些数字本身并不能说明结果的质量。

报告还介绍了苹果的负责任 AI 原则，并表示训练中没有使用用户的私人数据^[1][3]。这些说法是苹果在报告中提出的，报告本身就是这些内容的第一手出处。

影响

这份报告让苹果的基础模型更容易被审视。在此之前，公众只知道 6 月概览中的大致设计；之后，任何人都可以读到方法、规模和数据政策，并与苹果后来对模型的使用加以对照。对学生和普通读者来说，这份报告也是一个清楚的范例，说明一家公司如何记录大型语言模型：架构、硬件、数据来源、评估和安全原则都集中在同一份文件中。

这份报告很长，技术性较强。刚接触这个主题的读者，可以先读写得更简单的 6 月概览，再去看报告中的细节。