TellWorldAI 世界档案
问档案English
动态
模型
机构
人物
论文与概念
产品与智能体
芯片与机器人
编年史
专题
问档案English

首页›模型

模型

Llama 3

Llama 3 是 Meta 于 2024 年 4 月 18 日发布的开放模型系列，有 80 亿和 700 亿参数两种规格。它在超过 15 万亿个公开来源的词元上完成预训练。

状态 可用模态 文本开放权重 是上下文（千 token） 8 时代 生成式 AI 普及

参数量
70B
许可
开放权重
访问方式
应用、下载
发布日期
开发方
Meta AI

是什么

Llama 3 是 Meta 推出的一组可公开获取的语言模型。它于 2024 年 4 月 18 日发布，提供 80 亿和 700 亿参数两种规格，每种规格都有预训练版和指令微调版。[1][2] 预训练版是从文本中学习的基础模型；指令微调版则在此基础上继续训练，学会以对话的方式响应用户的请求。

两种规格都采用仅解码器（decoder-only）的 Transformer，并使用分组查询注意力（grouped-query attention）。这种注意力让多组注意力头共享键和值的数据，从而减少模型生成文本时所需的内存。模型还使用了新的分词器，词表包含 128K 个词元，上下文窗口为 8K 个词元。[1][2]

由来与训练

Meta 在超过 15 万亿个公开来源的词元上对 Llama 3 进行了预训练。这个数据量是 Llama 2 数据的七倍，其中代码的数量是四倍。超过 5% 的数据是非英语的，覆盖 30 多种语言。[1]

知识截止时间为：80 亿参数模型是 2023 年 3 月，700 亿参数模型是 2023 年 12 月。[2]

训练在两个专门搭建的集群上进行，每个集群有 2.4 万块 GPU。在 1.6 万块 GPU 上，模型达到了每块 GPU 超过 400 TFLOPS 的速度。Meta 称，训练效率约为 Llama 2 的三倍。[1]

模型卡（model card）中记录了算力成本。预训练使用了 130 万 GPU 小时用于 80 亿参数模型，640 万 GPU 小时用于 700 亿参数模型，总计 770 万 GPU 小时。估计排放量为 2290 吨二氧化碳当量。[2]

主要特点

基准成绩。 指令微调版在多个基准上接受了测试。80 亿和 700 亿参数两个版本的成绩分别为：MMLU 68.4 和 82.0，GPQA 34.2 和 39.5，HumanEval 62.2 和 81.7，GSM-8K 79.6 和 93.0，MATH 30.0 和 50.4。[2] 分数越高表示在该测试上表现越好，对比两列可以看出大模型提升了多少。

许可证。 模型以 Meta 定制的《Meta Llama 3 Community License》发布。[2]

发布平台。 发布时，模型可通过 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM watsonx、Microsoft Azure、NVIDIA NIM 和 Snowflake 获取。[1]

Meta AI。 同一天，Meta 把其 Meta AI 助手改为基于 Llama 3 运行。它在 Facebook、Instagram、WhatsApp、Messenger 以及新上线的 meta.ai 网站上提供。[3]

在发展中的位置

发布时，Meta 表示超过 4000 亿参数的模型仍在训练中。计划中的改进包括多模态（即处理文本之外的内容）、更好的多语言能力，以及更长的上下文。[1]

接下来的发布是 2024 年 7 月 23 日的 Llama 3.1。它把上下文扩展到 128K 个词元，并加入了 4050 亿参数的模型。[4]

上文的基准成绩是这次发布最直接的记录，可以与模型卡对照核实。[2]

能力大语言模型

技术路线基础模型Transformer 与注意力

生态与地区开源

版本时间线

9
  1. 2023
    • 2023 年 2 月 24 日 LLaMA

      Meta AI 于 2023 年 2 月发布的一系列基础语言模型，有 7B 到 65B 四种规模，只用公开数据训练；其中 13B 版本在多数基准测试上被报告优于 GPT-3。

    • 2023 年 7 月 18 日 Llama 2

      Meta 于 2023 年 7 月发布的开源权重语言模型系列，有 7B、13B、70B 三种规模，各含对话微调版本 Llama 2-Chat，并以允许研究和商业使用的自定义许可证发行。

  2. 2024
    • 2024 年 4 月 18 日 Llama 3 · 本页

      Llama 3 是 Meta 于 2024 年 4 月 18 日发布的开放模型系列，有 80 亿和 700 亿参数两种规格。它在超过 15 万亿个公开来源的词元上完成预训练。

    • 2024 年 7 月 23 日 Llama 3.1（含 405B）

      Llama 3.1 于 2024 年 7 月 23 日发布，在 Llama 3 系列中加入了 4050 亿参数的模型，并把上下文扩展到 12.8 万个词元。Meta 称，这是目前最强、可公开获取的基础模型。

    • 2024 年 9 月 25 日 Llama 3.2

      Llama 3.2 于 2024 年 9 月 25 日发布，新增 110 亿和 900 亿参数的视觉模型，以及面向边缘和移动设备的 10 亿和 30 亿参数纯文本小模型。

    • 2024 年 12 月 6 日 Llama 3.3 70B

      Llama 3.3 70B 是 Meta 于 2024 年 12 月 6 日发布的纯文本指令模型。Meta 称，它的表现接近 4050 亿参数的 Llama 3.1，成本却低得多，并可在普通开发者工作站上运行。

  3. 2025
    • 2025 年 4 月 5 日 Llama 4 Scout

      Llama 4 Scout 是 Meta 于 2025 年 4 月 5 日发布的混合专家模型，总参数 1090 亿，每个词元激活其中 170 亿，上下文窗口达 1000 万个词元。

    • 2025 年 4 月 5 日 Llama 4 Maverick

      Llama 4 Maverick 是 Meta 于 2025 年 4 月 5 日与 Scout 同时发布的混合专家模型，总参数 4000 亿，上下文窗口为 100 万个词元。它在 LMArena 上的排名之后受到质疑。

  4. 2026
    • 2026 年 4 月 8 日 Muse Spark

      Muse Spark 是 Meta Superintelligence Labs 于 2026 年 4 月 8 日推出的首个模型，最初闭源，驱动 Meta AI 应用和 meta.ai，后来推出了开放权重版本。

20242

  1. 发布Meta 发布开放的前沿级模型 Llama 3.1 405B

    2024 年 7 月 23 日，Meta 发布 Llama 3.1，含 4,050 亿参数的最大版本，Meta 称其为最大的公开可用基础模型。

  2. 发布Meta 发布 Llama 3

    2024 年 4 月 18 日，Meta 发布 Llama 3，有 80 亿和 700 亿参数两种规模，含预训练版和指令版，并通过多家云平台提供。

开发方1

Meta AI

后继1

Llama 3.1（含 405B）

前代1

Llama 2

驱动1

Meta AI 助手

采用1

Transformer 架构

注释与来源

  1. Introducing Meta Llama 3https://ai.meta.com/blog/meta-llama-3/
  2. Meta Llama 3 model cardhttps://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
  3. Meet Your New Assistant: Meta AI, Built With Llama 3https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3/
  4. Llama 3.1https://ai.meta.com/blog/meta-llama-3-1/

引用本页: Llama 3. TellWorld, https://www.tellworld.net/zh/models/llama-3. 更新于 2026-11-08