Meta 发布 Llama 3.3 70B

背景

到 2024 年底，Llama 3 系列已经有了大型模型，其中包括 Llama 3.1 的 405B 版本。大模型的运行成本很高，因此许多开发者关心的问题是：小一些的模型能否胜任日常的同类任务。Llama 3.3 是 Meta 在 70B 规模上给出的文本任务答案。^[2] 模型名中的数字，如 70B，是以十亿计的参数数量。参数越多，通常意味着模型越大，运行时需要的内存和算力也越多。

发生了什么

2024 年 12 月 6 日，Meta 发布 Llama 3.3。这是一个 70B 的纯文本指令微调（instruction-tuned）模型。^[1][2] 指令微调是在基础模型之上做的额外训练，目的是让它以对话形式理解并执行用户的请求。「纯文本」指模型读入和输出的都是文字，不接受图像输入。

关键细节

与 405B 的比较。 Meta 称，Llama 3.3 的表现与 Llama 3.1 405B 相近，而运行成本低得多。^[2] 这里的低成本意味着处理每个请求所需的硬件和能耗都少得多。

基准测试。 在 IFEval（一项测试模型能否遵循详细指令的评测）上，Llama 3.3 得分 92.1；在 MATH（一项数学题求解评测）上得分 77.0。同样两项测试中，Llama 3.1 405B 分别得分 88.6 和 73.8。也就是说，这个 70B 模型在两项上都更高。^[1] 基准分数是在固定测试集上的单一衡量，说明的是这些测试上的相对表现，并不代表所有任务。

上下文与语言。 该模型支持 128K 个 token 的上下文，并支持八种语言。^[1] token 是一小段文本，大致相当于一个词或词的一部分；上下文长度指模型一次能读入多少文本。

许可。 模型以 Llama 3.3 社区许可协议（Llama 3.3 Community License Agreement）发布。^[1] 社区许可协议规定了使用条款，这份协议由 Meta 为 Llama 模型定义。

在系列中的位置。 Llama 3.3 是 Llama 4 之前的最后一个 Llama 3 版本。^[2]

影响

在 Meta 所引用的基准上，Llama 3.3 表明一个 70B 模型可以与此前的 405B 模型表现相近。这为许多文本应用提供了更小、更便宜的选择。它的许可允许机构在社区条款下使用模型。作为 Llama 3 系列的最后一款模型，它结束了这一阶段，随后 Llama 4 推出。^[1][2]