Llama 3.2

是什么

Llama 3.2 是 Meta 于 2024 年 9 月 25 日在 Meta Connect 大会上宣布的一组开放模型。它分为两类。110 亿和 900 亿参数的模型是视觉模型，除文本外还能接收图像作为输入。10 亿和 30 亿参数的模型只处理文本，专为计算能力和内存有限的边缘设备与移动设备设计。每种规格都有预训练版和指令微调版。^[1]

由来

110 亿和 900 亿参数的模型是 Llama 系列中首批支持视觉的模型。它们的设计是一种适配器：训练出一组交叉注意力（cross-attention）层，把图像编码器的输出送入 Llama 3.1 语言模型。交叉注意力是让模型的一部分参考另一部分输出的机制，这里就是让语言部分参考图像特征。语言模型本身的权重保持冻结，也就是在这次训练中不改动。因此，模型的文本能力保持不变，视觉模型可以直接替换 Llama 3.1 使用。^[1]

小模型的做法不同。它们由 Llama 3.1 80 亿参数模型经过结构化剪枝（即去掉网络的一部分）得到，再通过知识蒸馏，从 Llama 3.1 80 亿和 700 亿参数模型的输出（logits）中学习。蒸馏是让小模型去匹配大模型输出概率的训练方法。两种小模型都支持 128K 个词元的上下文，预训练使用的数据最多达 9 万亿个词元，知识截止时间为 2023 年 12 月，支持八种语言。^[1][2]

主要特点

模型规模。 10 亿参数的模型实际为 12.3 亿参数，30 亿参数的模型实际为 32.1 亿参数。两者都支持 128K 个词元的上下文窗口。^[1][2]

基准成绩。 对于指令微调的 10 亿和 30 亿参数模型，成绩分别为：MMLU 49.3 和 63.4，IFEval 59.5 和 77.4，GSM8K 44.4 和 77.7，MATH 30.6 和 48.0，BFCL V2 25.7 和 67.0。^[2] 两列之间的差距，显示了多出的 20 亿参数带来的变化。

Meta 的比较。 Meta 称，视觉模型在图像识别上可与 Claude 3 Haiku 和 GPT-4o mini 相比。它还称，30 亿参数模型在指令遵循、摘要和工具使用上超过了 Gemma 2 2.6B 和 Phi 3.5-mini。^[1]

设备支持。 高通和联发科的硬件从发布首日起就支持小模型，并针对 Arm 处理器做了优化。^[1] Arm 处理器是许多手机和笔记本电脑所用的芯片。

Llama Stack 与安全。 发布时包含首批官方的 Llama Stack 发行版。它们是在不同环境中运行 Llama 模型的整套方案，覆盖单节点、云端、通过 PyTorch ExecuTorch 运行于设备端，以及本地部署。发布时还附带了 Llama Guard 3 11B Vision 和 Llama Guard 3 1B 两个安全模型。^[1]

获取方式。 模型可在 llama.com 和 Hugging Face 获取，也可通过 25 家以上的合作伙伴获取，包括 AMD、AWS、Databricks、Dell、Google Cloud、Groq、IBM、Intel、Microsoft Azure、NVIDIA、Oracle Cloud 和 Snowflake。^[1]

许可证。 Llama 3.2 以 Llama 3.2 Community License 发布。10 亿和 30 亿参数模型的量化版本（上下文为 8K 个词元）于 2024 年 10 月 24 日推出。^[2]

在发展中的位置

Llama 3.2 把这一系列从文本扩展到了图像，也扩展到了小型设备。它的后继是 2024 年 12 月 6 日发布的 Llama 3.3 700 亿参数版本。^[3]

由于视觉模型可以直接替换 Llama 3.1，已经用 Llama 3.1 处理文本的开发者，无需重新搭建应用的文本部分，就能切换到视觉模型。^[1]