《Gemini 1.5：在数百万 token 的上下文中释放多模态理解》

报告要解决的问题

这份报告由 Google 的 Gemini 团队署名，2024 年 3 月 8 日以 2403.05530 的编号提交到 arXiv。^[1] 它介绍的是一组多模态模型，核心主张只有一句：模型能够从数百万 token 的上下文中回忆并推理细粒度信息，这些上下文可以是多份长文档，也可以是数小时的视频和音频。^[1]

上下文长度指的是模型在回答问题时能同时处理多少材料。报告拿当时两个模型作标尺：Claude 3.0 的 20 万 token 和 GPT-4 Turbo 的 12.8 万 token，并把 1000 万 token 的上下文称为一次代际跨越。^[1] token 是模型读写文本、图像和音频的基本单位，数百万个 token 对应的是一摞文档，而不是一段提示词。

模型是怎么做的

报告涉及两个模型：更新后的 Gemini 1.5 Pro，以及更轻量的 Gemini 1.5 Flash；后者为效率而设计，代价是质量只有极小的退步。^[1]

Gemini 1.5 Pro 被描述为一个稀疏混合专家（sparse mixture-of-experts）的 Transformer 模型。^[1] Transformer 是当前大模型普遍采用的架构，它让输入中的每一部分都能衡量自己与其他部分的关系。混合专家则是一种有选择地花算力的办法：模型不为每个 token 跑全部参数，而是把 token 路由到少数几个专门的子网络，因此总参数量可以很大，而每个 token 上的计算量相对有限。「稀疏」指的就是这种选择性路由。报告对效率的说明正建立在这个设计之上。

评测结果

中心实验是大海捞针（needle-in-a-haystack）检索：把一条具体信息藏进很长的上下文里，看模型能不能把它找出来。在这类测试中，Gemini 1.5 Pro 在文本、视频和音频三种模态上，上下文到 100 万 token 时召回率仍高于 99.7%。^[1]

把上下文继续拉长，召回率同样保持：文本到 1000 万 token（约 700 万词），音频到 970 万 token（最长 107 小时），视频到 990 万 token（最长 10.5 小时）。^[1]

报告还给出两项范围更小的研究。一项让各行业从业者在自己的工作上使用 Gemini 1.5，在 10 个职业类别中，模型带来了 26% 到 75% 的时间节省。^[1] 另一项只给模型一本 Kalamang 语的语法手册——这门语言全球使用者不足 200 人——模型便学会了把英语翻译成 Kalamang 语，水平与从同样材料学习的人相近。^[1]

为什么重要

长上下文改变的是使用方式。上下文窗口有限的模型处理长材料时，通常要先把文档切块、检索出相关片段再逐段喂进去，而切分本身就可能切断跨段落之间的线索；能在数百万 token 上保持召回的模型，则可以把整份材料一次放进去。^[1] 在音频和视频上保持同样的召回，意味着模型可以直接对着数小时的录像工作，而不必先转写成文字。^[1]

Kalamang 语的结果指向另一件事：面对材料极少的语言，模型可以仅凭一本语法手册，在翻译上达到接近人类学习者的水平。^[1] 而 Pro 与更轻的 Flash 并列出现，说明这套能力被同时放在质量和效率两个档位上提供，而不是只做一个规格。^[1]