TellWorldAI 世界档案
问档案English
动态
模型
机构
人物
论文与概念
产品与智能体
芯片与机器人
编年史
专题
问档案English

首页›模型

模型

Llama 3.3 70B

Llama 3.3 70B 是 Meta 于 2024 年 12 月 6 日发布的纯文本指令模型。Meta 称，它的表现接近 4050 亿参数的 Llama 3.1，成本却低得多，并可在普通开发者工作站上运行。

状态 可用模态 文本开放权重 是上下文（千 token） 128 时代 生成式 AI 普及

参数量
70B
许可
开放权重
访问方式
下载
发布日期
开发方
Meta AI

是什么

Llama 3.3 70B 是一个纯文本语言模型，拥有 700 亿参数，并经过指令微调，能够按用户的请求行事。Meta 于 2024 年 12 月 6 日发布它，这是 Llama 3 系列的最后一次发布。[1][2] 模型支持 128K 个词元的上下文和八种语言，预训练使用了超过 15 万亿个词元，知识截止时间为 2023 年 12 月。[1]

指令微调是额外的训练步骤，模型通过大量请求与优质回答的示例学习，从而表现为助手，而不只是续写文本。基础模型只学习预测文本，平时常用的聊天版本则是指令微调后的模型。

由来

Meta 生成式 AI 副总裁 Ahmad Al-Dahle 在 X 上宣布了这个模型，马克·扎克伯格则在 Instagram 上分享了这一消息。[2] 训练使用了 700 万 H100 GPU 小时。[1]

Meta 强调的是效率。它称，该模型的表现接近 Llama 3.1 4050 亿参数版本，成本却低得多，并且可以在普通开发者工作站上本地运行。[2] 模型以《Llama 3.3 Community License Agreement》发布。[1]

主要特点

与 4050 亿参数模型的比较。 Meta 在多个基准上把 Llama 3.3 70B 与 Llama 3.1 4050 亿参数模型进行了比较。在 MMLU（CoT）上，70B 模型得分 86.0，405B 模型为 88.6；MMLU Pro 上为 68.9 对 73.3；IFEval 上为 92.1 对 88.6。在 GPQA Diamond 上为 50.5 对 49.0，HumanEval 上为 88.4 对 89.0，MATH 上为 77.0 对 73.8，MGSM 上为 91.1 对 91.6。[1] 70B 模型在部分测试上领先，在另一些上略逊，因此这些成绩被描述为相近，而非完全相同。

如何读这些成绩。 MMLU 考察多个学科的知识；IFEval 检查模型能否遵守明确的格式和内容要求；MATH 是竞赛风格的数学题，GSM8K 是小学到初中水平的应用题，HumanEval 则要求模型写出能通过测试的代码。几项成绩放在一起看，比单看一项更完整。

相对于 Llama 3.1 700 亿参数版本的提升。 与早先的 700 亿参数版本相比，Llama 3.3 把 MATH 从 68.0 提高到 77.0，HumanEval 从 80.5 提高到 88.4，IFEval 从 87.5 提高到 92.1。[1]

在发展中的位置

这个模型位于 Llama 3 系列的末尾，之后便是 Llama 4 系列。[1][4]

2025 年 4 月 29 日举行的 LlamaCon 大会上，Meta 的 Llama API 预览版为 Llama 3.3 80 亿参数模型提供了微调工具。[3] 微调指用较窄的一组示例，对模型做进一步训练，使其更适合某项具体工作。

下一个重要步骤是 2025 年 4 月 5 日宣布的 Llama 4 系列。它是 Meta 首批采用混合专家（mixture-of-experts）设计的 Llama 模型。[4]

能力大语言模型

技术路线基础模型

生态与地区开源

版本时间线

9
  1. 2023
    • 2023 年 2 月 24 日 LLaMA

      Meta AI 于 2023 年 2 月发布的一系列基础语言模型，有 7B 到 65B 四种规模，只用公开数据训练；其中 13B 版本在多数基准测试上被报告优于 GPT-3。

    • 2023 年 7 月 18 日 Llama 2

      Meta 于 2023 年 7 月发布的开源权重语言模型系列，有 7B、13B、70B 三种规模，各含对话微调版本 Llama 2-Chat，并以允许研究和商业使用的自定义许可证发行。

  2. 2024
    • 2024 年 4 月 18 日 Llama 3

      Llama 3 是 Meta 于 2024 年 4 月 18 日发布的开放模型系列，有 80 亿和 700 亿参数两种规格。它在超过 15 万亿个公开来源的词元上完成预训练。

    • 2024 年 7 月 23 日 Llama 3.1（含 405B）

      Llama 3.1 于 2024 年 7 月 23 日发布，在 Llama 3 系列中加入了 4050 亿参数的模型，并把上下文扩展到 12.8 万个词元。Meta 称，这是目前最强、可公开获取的基础模型。

    • 2024 年 9 月 25 日 Llama 3.2

      Llama 3.2 于 2024 年 9 月 25 日发布，新增 110 亿和 900 亿参数的视觉模型，以及面向边缘和移动设备的 10 亿和 30 亿参数纯文本小模型。

    • 2024 年 12 月 6 日 Llama 3.3 70B · 本页

      Llama 3.3 70B 是 Meta 于 2024 年 12 月 6 日发布的纯文本指令模型。Meta 称，它的表现接近 4050 亿参数的 Llama 3.1，成本却低得多，并可在普通开发者工作站上运行。

  3. 2025
    • 2025 年 4 月 5 日 Llama 4 Scout

      Llama 4 Scout 是 Meta 于 2025 年 4 月 5 日发布的混合专家模型，总参数 1090 亿，每个词元激活其中 170 亿，上下文窗口达 1000 万个词元。

    • 2025 年 4 月 5 日 Llama 4 Maverick

      Llama 4 Maverick 是 Meta 于 2025 年 4 月 5 日与 Scout 同时发布的混合专家模型，总参数 4000 亿，上下文窗口为 100 万个词元。它在 LMArena 上的排名之后受到质疑。

  4. 2026
    • 2026 年 4 月 8 日 Muse Spark

      Muse Spark 是 Meta Superintelligence Labs 于 2026 年 4 月 8 日推出的首个模型，最初闭源，驱动 Meta AI 应用和 meta.ai，后来推出了开放权重版本。

20241

  1. 发布Meta 发布 Llama 3.3 70B

    2024 年 12 月 6 日，Meta 发布 Llama 3.3，这是一个 70B 的纯文本模型。Meta 称，它的表现与 Llama 3.1 405B 相近，但成本低得多。它是 Llama 4 之前的最后一个 Llama 3 版本。

开发方1

Meta AI

作为基础1

Llama Nemotron（Nano、Super、Ultra）

前代1

Llama 3.2

后继2

Llama 4 ScoutLlama 4 Maverick

采用1

Transformer 架构

训练硬件1

NVIDIA H100

注释与来源

  1. Llama 3.3 model cardhttps://github.com/meta-llama/llama-models/blob/main/models/llama3_3/MODEL_CARD.md
  2. Meta releases AI model 'Llama 3.3', 70B model achieves performance comparable to Llama 3.1's 405B modelhttps://gigazine.net/gsc_news/en/20241209-meta-llama-3-3
  3. Everything we announced at our first-ever LlamaConhttps://ai.meta.com/blog/llamacon-llama-news/
  4. The Llama 4 herd: The beginning of a new era of natively multimodal AI innovationhttps://ai.meta.com/blog/llama-4-multimodal-intelligence/

引用本页: Llama 3.3 70B. TellWorld, https://www.tellworld.net/zh/models/llama-3-3. 更新于 2026-11-08