Google DeepMind 发布 Gemini

背景

大语言模型（large language model，LLM）是在海量文本上训练、通过预测下一个词来学习语言的神经网络，如今已是许多 AI 助手的核心。在此之前，不少能处理多种输入的系统是把几个部件拼接起来的：文字一个模型，图像一个模型，语音再接一个。部件之间每次转换，都可能丢失信息。

Google 自家的聊天机器人叫 Bard，公司也一直在研发自己的语言模型。Gemini 就是在这一背景下推出的新一代模型家族。^[1]

发生了什么

2023年12月6日，Google 在一篇由 Sundar Pichai 与 Demis Hassabis 署名的文章中宣布推出 Gemini 1.0，并称它是公司迄今最强大、最通用的模型。^[1] Gemini 1.0 分为三个尺寸：面向高度复杂任务的 Ultra，面向大范围多样任务、便于扩展的 Pro，以及面向设备端任务的 Nano。^[1]

关键细节

Gemini 的核心设计是原生多模态（native multimodal）。按 Google 的说法，模型从预训练开始就同时学习文本、图像、音频和视频，而不是把几个分别训练好的部件拼接起来。^[1] 通俗地说，这些信息在训练中就彼此关联，而不是靠中间的转换步骤来衔接。

Google 公布的成绩显示，Gemini Ultra 在 32 项广泛使用的学术基准中，有 30 项超过了此前的最好结果。在 MMLU（一套覆盖大量学校和专业学科的选择题测试）上，它得分 90.0%，Google 称这是第一个在该测试上超过人类专家的模型。^[1] 基准分数衡量的是固定测试上的表现，并不等于在所有真实任务中都更强。

训练使用了 Google 的 TPU v4 和 v5e 芯片，同一场发布还推出了 Cloud TPU v5p。^[1] TPU（张量处理单元）是 Google 自研的芯片，专门用于神经网络依赖的矩阵运算。

上线也是分阶段进行的。Bard 开始在超过 170 个国家和地区，以英文使用基于 Gemini Pro 微调（fine-tuning，指用较窄的任务数据继续训练，使模型更适合某类用途）的版本；Pixel 8 Pro 成为第一款能运行 Gemini Nano 的智能手机。^[1]

从 2023年12月13日起，开发者和企业客户可以通过 Google AI Studio 或 Vertex AI 中的 Gemini API 使用 Gemini Pro，Ultra 则先提供给部分客户、开发者和合作伙伴。^[1]

影响

Gemini 的发布把原生多模态放到了一家主要 AI 实验室旗舰模型家族的核心位置。它的三尺寸设计也展示了一种思路：同一套设计按不同规模提供，从大型数据中心到手机都能覆盖。分阶段上线则显示了前沿模型进入大众的常见路径：先进入聊天产品，再进入手机，最后向开发者开放接口，最大的版本起初只交给部分合作方。^[1]

阅读这些数字时，需要区分公司自述与独立评估：文中的成绩都是 Google 发布时给出的说法，未经第三方独立测试。后续的 Gemini 版本都建立在这一代的基础上，比较不同时期的说法时，这一点值得留意。