TellWorldAI 世界档案
问档案English
动态
模型
机构
人物
论文与概念
产品与智能体
芯片与机器人
编年史
专题
问档案English

首页›模型

模型

PaLM

PaLM 是 Google Research 于 2022 年 4 月发布的 5400 亿参数语言模型，在 6144 块 TPU v4 上训练，多项基准成绩优于此前模型。

状态 已弃用模态 文本 时代 大模型

参数量
540B
许可
闭源
发布日期
开发方
谷歌大脑（Google Brain）

PaLM 是什么

PaLM（Pathways Language Model）是 Google Research 于 2022 年 4 月 4 日发布的语言模型，参数量为 5400 亿[1]。从结构上说，它是一个稠密（dense）、仅解码器（decoder-only）的 Transformer[1]。仅解码器，指模型以「接着往下写」的方式训练，通过预测下一个词元（token）来学习文本，而不是把一句话编码成向量交给单独的分类器；稠密，指处理每个词元时整个参数集都参与计算，不同于混合专家（mixture-of-experts）那样把词元分发给网络的一部分。名字里的第一个词来自训练它所用的 Pathways 系统[1]。

怎么训练的

这次训练铺在 6144 块 TPU v4 芯片上，分属两个 Cloud TPU v4 Pod，使用 Pathways 系统，硬件 FLOPs 利用率达到 57.8%[1]。Google Research 称，这是当时用于训练的最大 TPU 系统配置[1]。让同一个模型跨不止一个 Pod 运行，正是 Pathways 系统要处理的协同问题；而利用率这个数字，说的是硬件的理论算力里真正用于有效计算的比例。

训练语料混合了英文与多语言网页文档、书籍、维基百科、对话和 GitHub 代码，其中 22% 为非英语内容[1]。把代码和对话同普通文章放在一起，意味着模型见到的既有书面文字，也有形式化、结构化的序列。

做到了什么

Google 报告称，PaLM 540B 在 29 个广泛使用的英语自然语言处理任务中，有 28 个的少样本（few-shot）成绩超过此前的大型模型[1]。在小学数学题上，它用思维链（chain-of-thought）提示来测试——这种提示方式会在给出答案之前，先把中间的推理步骤写出来。给它 8 个这样的示例后，PaLM 解出了 GSM8K 中 58% 的题目；此前的最好成绩是 55%，来自 GPT-3 175B：在 7500 道题上微调，并外接计算器和校验器[1]。

在 BIG-bench 上，使用 5 样本提示的 PaLM 540B 成绩好于完成同样任务的人类平均水平[1]。给两个示例，它还能解释网上找不到的原创笑话[1]——这类任务依靠的是关于世界的背景知识，以及判断铺垫和笑点为何能对上的推理，而不是检索一段已经存在的解释。

论文

技术报告《PaLM: Scaling Language Modeling with Pathways》于 2022 年 4 月 5 日首次提交到 arXiv，也就是公告发布后的第二天[1][2]。论文把 PaLM 描述为用 Pathways 系统训练的、5400 亿参数的稠密激活 Transformer 语言模型[2]。

在发展中的位置

PaLM 属于这样一条研究路线：把模型做大、喂给它更丰富的文本，看一个通用语言模型能被推到多远。它被引用最多的两项结果，一是 GSM8K 上与外接工具、经过微调的模型的对比，二是 BIG-bench 上与人类平均水平的对比[1]。这两项结果由 Google 与另一样东西一同报告：那次训练本身也证明了 Pathways 基础设施能协调数千块芯片，把利用率做到 57.8%[1]。

能力大语言模型推理

技术路线Transformer 与注意力

生态与地区硬件与算力

历史研究史

版本时间线

21
  1. 2022
    • 2022 年 4 月 4 日 PaLM · 本页

      PaLM 是 Google Research 于 2022 年 4 月发布的 5400 亿参数语言模型，在 6144 块 TPU v4 上训练，多项基准成绩优于此前模型。

  2. 2023
    • 2023 年 5 月 10 日 PaLM 2

      PaLM 2 是 Google 于 2023 年 5 月 10 日发布的第二代 Pathways 语言模型，分为四个规模，被用于包括 Bard 在内的 25 个以上 Google 产品。

    • 2023 年 12 月 6 日 Gemini 1.0（Ultra、Pro、Nano）

      Gemini 1.0 是 Google DeepMind 多模态模型家族的第一代，2023 年 12 月 6 日发布，分 Ultra、Pro、Nano 三档；Google 称 Ultra 是首个在 MMLU 上超过人类专家的模型。

  3. 2024
    • 2024 年 2 月 15 日 Gemini 1.5 Pro

      Google Gemini 1.5 代的中型多模态模型，2024 年 2 月公布，以上百万 token 的上下文窗口著称，可在单次提示中处理长视频、整段音频和大规模代码。

    • 2024 年 5 月 14 日 Gemini 1.5 Flash

      Gemini 1.5 Flash 是 Google Gemini 1.5 系列中的轻量模型，2024 年 5 月 14 日发布，由 1.5 Pro 蒸馏训练而来，上下文窗口为 100 万 token，主打快速与低成本。

    • 2024 年 12 月 11 日 Gemini 2.0 Flash

      Gemini 2.0 Flash 是 Google Gemini 2.0 世代的首个模型，2024 年 12 月以实验模型形式发布，新增多模态输出与原生工具调用，2025 年 2 月正式开放。

  4. 2025
    • 2025 年 2 月 5 日 Gemini 2.0 Pro

      Google 于 2025 年 2 月发布的实验性模型，属于 Gemini 2.0 系列，被 Google 称为当时在编程和复杂提示上最好的模型，支持 200 万 token 的上下文窗口与工具调用。

    • 2025 年 3 月 25 日 Gemini 2.5 Pro

      Gemini 2.5 Pro 是 Google Gemini 2.5 系列的首个模型，2025 年 3 月以实验版发布，主打「思考」能力和 100 万 token 上下文，发布时即在 LMArena 登顶。

    • 2025 年 4 月 17 日 Gemini 2.5 Flash

      Google Gemini 2.5 系列中的模型，2025 年 4 月发布预览版、6 月正式可用。Google 称它是其首个完全混合推理模型，开发者可以用思考预算把思考打开或关闭。

    • 2025 年 6 月 17 日 Gemini 2.5 Flash-Lite

      Gemini 2.5 Flash-Lite 是 Google Gemini 2.5 系列中价格最低的模型，面向分类、摘要等高吞吐量任务，默认关闭思考，并提供可调节的思考预算。

    • 2025 年 11 月 18 日 Gemini 3 Pro

      Gemini 3 Pro 是 Google Gemini 3 系列的首个模型，2025 年 11 月以预览版发布，拥有 100 万 token 上下文窗口，并在 LMArena 等榜单登顶，在推理、编程与多模态基准上取得高分。

    • 2025 年 12 月 17 日 Gemini 3 Flash

      Gemini 3 Flash 是 Google Gemini 3 系列中主打速度与低成本的模型，2025 年 12 月 17 日发布。它在多项基准上接近 Gemini 3 Pro，同时消耗更少 token、单 token 价格更低。

  5. 2026
    • 2026 年 2 月 19 日 Gemini 3.1 Pro

      Gemini 3.1 Pro 是 Google 于 2026 年 2 月 19 日以预览形式发布的大语言模型，在 ARC-AGI-2 上取得 77.1% 的验证成绩，并取代了 gemini-3-pro-preview。

    • 2026 年 3 月 3 日 Gemini 3.1 Flash-Lite

      Gemini 3.1 Flash-Lite 是 Google Gemini 3 系列中低成本、低延迟的多模态模型，2026 年 3 月先出预览版、5 月正式可用，面向高频、轻量的任务。

    • 2026 年 5 月 19 日 Gemini 3.5 Flash

      Gemini 3.5 Flash 是 Google 于 2026 年 5 月 19 日发布的 Gemini 3.5 系列首个模型，面向智能体与编程任务，并成为 Gemini 应用和搜索 AI 模式的默认模型。

    • 2026 年 7 月 21 日 Gemini 3.5 Flash-Lite

      Gemini 3.5 系列中最快的模型，2026 年 7 月发布，面向智能体检索与文档处理等高吞吐任务，并将接替 gemini-3.1-flash-lite。

    • 2026 年 7 月 21 日 Gemini 3.6 Flash

      Gemini 3.6 Flash 是 Google 于 2026 年 7 月 21 日发布的主力模型，在编程、知识工作和多模态上优于 3.5 Flash，输出更省词元，并把计算机操作做成内置工具。

    • 2026 年 8 月 13 日 Gemini 3.7 Flash

      Google 于 2026 年 8 月 13 日发布的主力模型，主打编程与智能体，定价分阶段上调，三周后即被 3.8 Flash 接替。

    • 2026 年 9 月 2 日 Gemini 3.8 Flash

      Gemini 3.8 Flash 是 Google 于 2026 年 9 月 2 日发布的快速低成本模型，同日推出网络安全变体 Gemini 3.8 Flash Cyber，其介绍性价格在 2027 年初翻倍。

    • 2026 年 10 月 13 日 Gemini 4 Argon

      Gemini 4 Argon 是 Google Gemini 4 系列首个模型，2026 年 10 月 13 日全面开放，面向软件工程、金融、法律等多步骤复杂任务。

    • 2026 年 10 月 28 日 Gemini 4 Carbon

      Gemini 4 Carbon 是 Google DeepMind 于 2026 年 10 月 28 日发布的前沿模型，距 Gemini 4 Argon 仅两周，Google 称其网络安全与长程能力达到当前最好水平。

20221

  1. 论文谷歌发布 5400 亿参数的 PaLM

    2022 年 4 月 4 日，Google Research 发布 5400 亿参数的 PaLM，它在 6144 块 TPU v4 芯片上借助 Pathways 系统训练，多步推理表现出色，在 BIG-bench 上超过人类平均水平。

开发方1

谷歌大脑（Google Brain）

作为基础1

Med-PaLM 与 Med-PaLM 2

后继1

PaLM 2

采用2

Transformer 架构缩放定律

注释与来源

  1. Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performancehttps://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/
  2. PaLM: Scaling Language Modeling with Pathwayshttps://arxiv.org/abs/2204.02311

引用本页: PaLM. TellWorld, https://www.tellworld.net/zh/models/palm. 更新于 2026-11-08