谷歌发布支持百万 token 上下文的 Gemini 1.5 Pro

背景

2024 年 2 月 15 日，谷歌宣布了 Gemini 1.5，这是 Gemini 模型家族的新一代，首发型号是 Gemini 1.5 Pro。^[1] 发布时间与一次改名有关：一周之前，谷歌的聊天机器人 Bard 更名为 Gemini。^[1] 这款新模型由 Demis Hassabis 宣布，Sundar Pichai 为公告写了开场说明。^[1]

发布了什么

Gemini 1.5 Pro 是一个大语言模型，也就是那种接收文本（在这个例子里还包括其他媒介）并生成后续内容的系统。它最关键的架构选择是混合专家（mixture-of-experts）。^[1] 在混合专家模型里，网络被拆成许多独立的子网络，通常称为「专家」，另有一个路由部分负责判断：对每一段输入，应该由哪几个专家来处理。对这段输入，只有被选中的专家真正参与计算。这样做的实际后果是，模型的总参数量可以做得很大，而计算开销不必随之等比例上升，因为对任何一个 token 来说，网络中的大部分都处于空闲状态。

上下文窗口

上下文窗口是模型一次能同时「看见」的材料量，既包括它被给予的内容，也包括它已经生成的内容。它以 token 计量，token 是模型读写文本时的切分单位，大致相当于词片。Gemini 1.5 Pro 默认提供 128,000 个 token 的窗口，在私下预览中最高可达 100 万个 token。^[1] 100 万 token 远不止一份长报告：它足以容纳数小时的转写文本或一小批文档，让模型在一次处理中全部保留，而不必把材料切碎、再靠检索逐块取回。

为了说明这在实践中意味着什么，谷歌演示了这个模型分析阿波罗 11 号任务长达 402 页的转写记录，以及一部 44 分钟的巴斯特·基顿（Buster Keaton）无声电影。^[1] 两个例子各自要说明不同的事。转写记录是又长又密的文本，普通上下文窗口根本装不下，因此针对它提问，检验的是模型能否在数百页的跨度上定位并连接细节。电影则根本不是文本；能处理 44 分钟的默片，意味着模型读入的是一长串图像，而不只是词。

性能

谷歌表示，1.5 Pro 的表现与上一代最大的模型 1.0 Ultra 大致相当。^[1] 这是公司自己的说法，而不是独立测量，但它框定了这次发布：新模型被呈现为在性能上追平旧产品线的顶点，而底座换成了不同的、混合专家的架构。

超过百万 token 之后

谷歌还表示，它在研究中用最多 1000 万个 token 测试过这个模型。^[1] 这个数字并不是作为产品能力给出的，也没有附任何时间表；它的作用是说明团队认为这条路还能走多远，以及对外宣传的上限是当下的一个设定，而不是方法本身的硬顶。

为什么重要

这次发布把注意力从基准分数挪到了容量上：模型一次能装入多少材料，以及当答案不再依赖于把文档切碎再检索的步骤时，哪些任务会变得可行。长转写、整个代码库、长时录音、跨多份文档的提问，都属于模型必须同时把许多细节留在视野内的情形。把窗口本身做大，而不是绕着小窗口做工程，会改变可以问的问题。混合专家设计出于同样的理由在成本一侧也很重要：正是它让这种规模的模型有被实际服务的可能。从这个意义上说，Gemini 1.5 Pro 既是一个产品，也是一个关于方向的判断——上下文长度会成为前沿模型相互比较的主要维度之一。

^[1]: Google，《Our next-generation model: Gemini 1.5》。