Meta 发布带视觉和端侧模型的 Llama 3.2

背景

在此之前，Meta 发布的 Llama 模型只接受文本输入。Llama 3.2 的目标是把这一系列扩展到图像，并扩展到更小的设备上。Meta 在自己的 Meta Connect 活动上发布了它，并把它定位为面向端侧 AI 的开放、可定制选项。端侧 AI（edge AI）指的是直接在设备本地运行的 AI，而不是在远程数据中心里运行。^[1]

发生了什么

2024 年 9 月 25 日，Meta 发布 Llama 3.2，分为两组。第一组是两款视觉模型，参数量分别为 110 亿（11B）和 900 亿（90B）。第二组是两款文本模型，参数量分别为 10 亿（1B）和 30 亿（3B）。文本模型面向硬件资源有限的设备。^[1]

关键细节

首批能「看」图的 Llama 模型。 11B 和 90B 是 Llama 系列中第一批能够理解图像的模型。做法是在 Llama 3.1 上接入一个交叉注意力适配器（cross-attention adapter），让图像信息输入到原有的语言模型中。^[1] 交叉注意力适配器是一组额外的网络层，使语言模型可以读取来自第二种输入（这里是图片）的特征。

面向设备的小模型。 1B 和 3B 由 Llama 3.1 经过剪枝（pruning）和蒸馏（distillation）得到。剪枝是去掉大模型中的一部分结构；蒸馏是训练小模型去模仿大模型的行为。两款模型都支持 128K 的上下文，也就是一次可以读入很长的输入。它们可以在高通（Qualcomm）和联发科（MediaTek）的硬件上运行，这两家公司都生产手机芯片。^[1]

对比。 Meta 称，视觉模型在图像理解任务上与 Claude 3 Haiku 和 GPT-4o mini 相当。^[1]

配套工具。 发布内容还包括首批官方的 Llama Stack 发行版。它是一套打包好的工具，用于在应用中运行 Llama 模型。同时发布的还有 Llama Guard 3 Vision，一个可以审查图像的安全分类器。^[1]

量化版本。 2024 年 10 月 24 日，Meta 发布了 1B 和 3B 模型的量化（quantised）版本。量化是把模型参数存成更低的精度，使文件更小，在资源有限的硬件上运行更快。^[2]

影响

Llama 3.2 表明，Llama 系列在同一代中覆盖了三类用途：小设备上的文本模型、大模型上的视觉能力，以及围绕模型构建应用的一整套工具。开发者可以按 Meta 的许可下载这些模型，把较小的模型直接运行在手机和笔记本上，而不必依赖云端。这次发布也首次把图像理解能力带进了开放的 Llama 系列。^[1]