Gemma

是什么

Gemma 是 Google DeepMind 推出的轻量级开放模型系列，于 2024 年 2 月 21 日发布，采用与 Gemini 相同的研究与技术构建。^[1] Google 称该模型「从今天起在全球可用」。^[1]

这里的「开放」指的是训练好的权重会公开，其他人可以下载并自己运行模型，而不只是通过某个托管服务去调用。这对预算有限的研究者、需要把模型跑在自己硬件上或必须让数据留在本地的开发者，以及希望检查和改造模型而不只是使用模型的人，都有实际意义。

规模与版本

Gemma 有两种规模，Gemma 2B 和 Gemma 7B，每种都提供预训练（pre-trained）和指令微调（instruction-tuned）两个版本。^[1] 预训练版本在大规模文本上学习预测下一个词，因而具备通用语言能力，但并没有养成听从请求的习惯；指令微调版本则额外在「指令—好答案」的示例上训练，因此面对提示会给出有用的回答，而不是单纯把文本续写下去。两种版本并存，让开发者可以在「拿来继续微调的基座模型」和「开箱即用的模型」之间选择。

模型具有 8192 个 token 的上下文窗口（context window），并且只处理文本。^[2] 上下文窗口指模型一次能同时「看到」多少文本：提示和回答加起来都要落在这个范围里。窗口越大，能放进去的长文档、长对话或示例就越多。只处理文本，意味着模型不接受图像或音频作为输入。

关于性能的说法

Google 表示，Gemma 是同规模开放模型中的最佳水平，并在关键基准（benchmark）上超过了明显更大的模型。^[1] 基准是标准化的测试集，通常自动评分，让人可以在问答、推理一类任务上比较模型。它适合快速对比，但视野有限：分数高说明模型在这些特定测试上表现好，并不等于它样样更强。因此，与更大模型的比较也应放在这个前提下来读，而且这属于 Google 对自己模型的描述，不是独立评估的结论。

许可与安全工具

权重依照 Gemma 使用条款（Gemma Terms of Use）发布，该条款允许所有规模的组织进行负责任的商业使用与分发。^[1][3] 这个表述值得注意：小团队和大公司在同一套许可下工作，创业公司或高校实验室不必单独谈判协议，就能在模型之上做产品。

与模型一同发布的还有负责任生成式 AI 工具包（Responsible Generative AI Toolkit），其中包含构建安全分类器和调试模型行为的工具。^[1] 安全分类器是一个独立的模型，用来筛查输入或输出、标记开发者认为应当过滤的内容；调试工具则帮助开发者弄清模型为什么给出某个输出。把这些工具和权重一起交付，反映了一个现实：模型一旦可以被下载，防护措施也必须随之一起走。

在哪里运行

模型可在 Kaggle、Colab、Hugging Face 和 Vertex AI 上获取，支持 Keras 3.0、PyTorch、JAX 和 TensorFlow，并针对 NVIDIA GPU 和 Google Cloud TPU 做了优化。^[1] 同时支持多个框架，意味着开发者可以留在自己已经熟悉的技术栈里，而不必围绕某一个库重写整个流程。Google 还提供了可直接使用的 Colab 和 Kaggle 笔记本，与 Hugging Face 做了集成，并可在 Vertex AI 和 Google Kubernetes Engine（GKE）上方便地部署。^[1]

在模型谱系中的位置

此后陆续出现了衍生版本，包括面向代码的 CodeGemma，以及 2024 年 4 月的 RecurrentGemma——后者基于 Griffin 架构，而不是纯粹的 Transformer（变换器）。^[2] 基于 Transformer 的模型依赖对整段序列的注意力计算；尝试另一种架构，是在检验能否用不同的、有时更省算力的计算方式达到相近的效果。2024 年 6 月，Gemma 由 Gemma 2 接续。^[2] 整体来看，这次发布意味着 Google 把一个源自 Gemini、可用于商业的模型系列放进了开放权重的生态之中，并且交付的不只是一组权重，还有许可条款、安全工具和框架支持。