Grok-1.5 与 Grok-1.5V

是什么

Grok-1.5 是 xAI 开发的大语言模型（large language model，LLM），2024 年 3 月 28 日发布，是对 Grok-1 的升级。^[1]大语言模型通过大量文本学习，回答时逐个生成 token。token 是一小段文字，可能是一个完整的词，也可能只是一个词的一部分。xAI 对新版本的主要说明有两点：推理能力更强，即在需要多步推导的问题上表现更好；上下文窗口大幅加长。

上下文窗口

这次升级最明显的变化是上下文窗口（context window）。Grok-1.5 一次可以接收 12.8 万 token 的内容，xAI 称这是 Grok-1 上下文长度的 16 倍。^[1]上下文窗口指模型在工作时能同时看到的文本总量。窗口更长，模型就能读完一篇长文档、一大段代码或一段长对话，而不会过早丢掉前面的内容。

发布方式

xAI 先把 Grok-1.5 开放给早期测试用户，以及 X 平台上已有的 Grok 用户。^[1]2024 年 5 月 15 日，它开放给 X 的付费会员 Premium 用户。^[1][3]分阶段放开意味着模型先由一小批人使用，之后才面向更广泛的付费用户。

基准测试成绩

xAI 公布了模型的基准测试（benchmark）结果。MMLU 考察多个学科的知识，是学校和专业领域的综合题库，Grok-1.5 得分 81.3%（5-shot）。MATH 是竞赛风格的数学题，得分 50.6%（4-shot）。GSM8K 是小学高年级到初中水平的应用题，得分 90%（8-shot）。HumanEval 是一组 Python 编程题，得分 74.1%（0-shot）。^[1]这里的 shot 数指回答前给模型看的示例题数量：5-shot 即先看 5 道示例，0-shot 即不看任何示例。

作为对照，xAI 报告 Grok-1 在 MMLU 上为 73%，MATH 为 23.9%，GSM8K 为 62.9%，HumanEval 为 63.2%。^[1]提升最大的是 MATH，分数几乎翻了一倍。这类测试适合比较同一系列的不同版本，但它们只覆盖各自题库的题型，分数高并不保证在所有场景下回答都更好。

闭源发布

与 Grok-1 不同，Grok-1.5 是闭源的：构成模型的训练参数，即权重（weights），没有公开。^[3]

Grok-1.5V

2024 年 4 月 12 日，xAI 预览了 Grok-1.5V，称其为公司首个多模态模型（multimodal model）。^[2]多模态模型能接收不止一种类型的输入。Grok-1.5V 被设计为既能处理文字，也能处理图像，可以读懂文档、示意图、图表、截图和照片。^[2]

xAI 报告了 Grok-1.5V 在几项视觉测试上的零样本（zero-shot，即不给示例）成绩：MMMU 53.6%，MathVista 52.8%，AI2D 88.3%，TextVQA 78.1%，ChartQA 76.1%，DocVQA 85.6%，RealWorldQA 68.7%。^[2]其中不少测试是看图、读表和读扫描文档后作答，能反映模型读取视觉信息并进行推理的能力。

预览时，xAI 同时发布了 RealWorldQA，这是一个考察空间理解（spatial understanding）的基准，即模型对真实场景中物体位置关系的理解程度。它包含 700 多张图片，每张图都配有答案可以核对的问题。许多图片取自车辆拍摄。该基准以 CC BY-ND 4.0 许可发布，允许他人署名后分享，但不得修改。^[2]

Grok-1.5V 从未向公众开放。^[3]因此，它的成绩主要来自 xAI 自己的报告，外部用户当时无法直接测试。

在 Grok 系列中的位置

Grok-1.5 之后，Grok-2 于 2024 年 8 月发布。GPQA 是一组研究生水平的科学题，该版本把 GPQA 从 35.9% 提高到 56.0%，MMLU 从 81.3% 提高到 87.5%。^[4]Grok 系列就这样沿着一连串大模型发布不断推进，每一代都建立在上一代的基础上。