Grok-1

是什么

Grok-1 是埃隆·马斯克（Elon Musk）创办的 xAI 公司构建的首个大语言模型（large language model）。xAI 于 2023 年 11 月 3 日公布该模型，称其为 Grok 聊天助手的引擎。^[1] 大语言模型是通过大量文本训练、用于理解和生成语言的系统。Grok 聊天助手的首个版本，正是由 Grok-1 回答问题的。

由来

在 Grok-1 之前，xAI 有一个名为 Grok-0 的原型，参数量为 330 亿。xAI 称，Grok-0 在标准基准上接近 Llama 2（70B）的水平，而所用训练资源约为其一半。^[1] Grok-1 随后从零开始训练，使用基于 JAX、Rust 和 Kubernetes 构建的自研技术栈。预训练于 2023 年 10 月结束。^[1][2]

模型公布后，最先向数量有限的美国用户开放，用户需通过候补名单申请；之后开放给付费的 X Premium 订阅用户。^[1][5]

主要特点

Grok-1 是一个混合专家（mixture-of-experts）模型，参数总量为 3140 亿。它有 8 个专家，每个标记激活其中 2 个，因此每个标记使用的权重约占四分之一。^[3][2] 在混合专家设计中，每个输入只调用部分专家子网络，使每次回答的计算成本低于参数总量所显示的规模。

模型共 64 层，有 48 个查询头（query head）和 8 个键值头（key/value head），嵌入维度为 6144，并采用旋转位置编码（rotary embedding）。查询头和键值头是注意力机制的组成部分，让模型在生成下一个词时权衡前文的内容。其分词器为 SentencePiece，词表含 131072 个标记，最大上下文长度为 8192 个标记。^[3][2]

基准成绩

xAI 报告的成绩为：GSM8k（8 次示例）62.9%，MMLU（5 次示例）73.0%，HumanEval（pass@1）63.2%，MATH（4 次示例）23.9%。GSM8k 考查小学数学应用题，MMLU 涵盖多学科考试题目，HumanEval 考查编写代码，MATH 考查竞赛数学。xAI 称，Grok-1 超过了 GPT-3.5 和 Inflection-1，但落后于 GPT-4。^[1]

xAI 还报告了一项测试：2023 年 5 月的匈牙利全国高中数学考试，由人工评分。Grok-1 得分 59%，相当于 C 等级；同一考试中，GPT-4 为 68%，Claude 2 为 55%。^[1]

开放发布

2024 年 3 月 17 日，xAI 以 Apache 2.0 许可证发布了 Grok-1 的基础权重和网络结构。权重通过 torrent 方式分发，也通过 Hugging Face 提供下载。^[2][3] 发布的是未经对话微调的原始基础模型检查点。关于这次发布的更多细节，见单独的开放权重条目。

在发展中的位置

Grok-1 是 xAI 的首个模型，随后于 2024 年 3 月推出了 Grok-1.5。该模型把 MMLU 成绩提高到 81.3%，并把上下文长度扩展到 128000 个标记。^[4] Grok-1 是 Grok 系列语言模型的起点。^[1][4]