Gemma 2

Gemma 2 是什么

Gemma 2 是 Google Gemma 开放模型系列的第二代，于 2024 年 6 月 27 日发布，包含 90 亿参数和 270 亿参数两个规格^[1]。两者都是文本到文本（text-to-text）的仅解码器（decoder-only）大语言模型：输入文本，输出英文文本^[3]。所谓仅解码器，指模型逐词元（token）生成后续内容，每生成一个词元都要参照前面已有的全部文本，这也是今天大多数对话式语言模型的基本工作方式。

名称里的参数是训练过程中学到的权重。参数越多，模型通常越有能力，但运行它所需的算力也越大，所以发布时选哪几个规格，往往是一种取舍而非简单的排名。

由来

Gemma 2 延续了 Gemma 这条公开释放的模型线。Google 表示，新一代模型正式面向全球的研究者和开发者发布^[1]，并沿用 Gemma 许可证，Google 称该许可证允许商业使用与商业化变现^[1]。这一点对开放二字很关键：权重可以下载还不够，还得允许在其上构建产品，所以许可条款是发布本身的一部分。

技术特点

有两点设计被明确记录。一是分组查询注意力（grouped-query attention）：让多组查询头共用同一套键和值的投影，从而在推理时降低注意力所需的内存与带宽，同时保留接近完整多头注意力的效果。二是 8192 个词元的上下文窗口^[2]，也就是模型一次能参照的文本长度。

训练规模见 Google 的模型卡：270 亿参数版本用了 13 万亿词元训练，90 亿参数版本用了 8 万亿词元^[3]。词元是文本的片段，常常是一个词或词的一部分；以万亿计的词元意味着极其庞大的阅读量，两个版本中较大的那个看到的也更多。

Google 的说法

Google 的介绍重点放在 270 亿参数版本上。公司称它能与规模超过自身两倍的模型形成有竞争力的替代选择^[1]；并称该版本可以在单台 Google Cloud TPU 主机、一块 NVIDIA A100 80GB 或一块 NVIDIA H100 GPU 上以完整精度高效地做推理^[1]。这里的完整精度指权重没有被压缩成更低的数值精度来迁就硬件；能在单台加速器主机上跑起来，是团队实际部署时会关心的现实问题。Google 还表示计划推出 26 亿参数的 Gemma 2 版本^[1]，面向连 90 亿参数都嫌大的场景。

在系列中的位置

Gemma 2 后来成为其他发布的底座：2024 年 12 月的视觉语言模型 PaliGemma 2 就构建在 Gemma 2 之上^[2]，把语言模型与图像编码器结合起来，使模型除文本之外也能处理图片。在 Gemma 系列内部，第二代把这条线从最初的开放发布扩展成多个规格与衍生产品；对希望拿到可自行运行、且许可允许商用的模型的人来说，它是与其他开放系列放在一起权衡的选项之一。