xAI 以 Apache 2.0 许可开放 Grok-1 权重

背景

Grok-1 于 2023 年 11 月作为 Grok 聊天助手背后的模型公布。它的预训练于 2023 年 10 月结束，但在此之前，其权重（即构成模型的训练所得数值）并未公开。^[1]

发生了什么

2024 年 3 月 17 日，xAI 发布了 Grok-1 的基础模型权重和网络结构。^[1] 权重和代码均以 Apache 2.0 许可证发布。^[1][2] 权重通过 torrent 种子分发，也通过 Hugging Face Hub 提供，仓库名为 xai-org/grok-1。^[2]

此次发布的是原始预训练检查点。检查点即保存下来的一组训练好的权重，而这一版本未经对话或其他任务的微调。也就是说，它已从预训练文本中学到知识，但尚未被调整为聊天机器人的行为方式。^[1]

关键细节

Grok-1 是一个 3140 亿参数的混合专家模型。8 个专家中每个标记使用 2 个，因此对于任一标记，约 25% 的权重处于激活状态。^[1][2] 由于网络只有一部分同时运行，生成每个标记的成本远低于其完整规模所暗示的水平。

GitHub 仓库给出了模型配置：64 层，48 个查询注意力头和 8 个键值注意力头，嵌入维度 6144，SentencePiece 词表含 131072 个标记，上下文长度为 8192 个标记。^[2]

影响

此次发布让外部研究者和开发者能够在宽松的许可证下下载并研究一个大型混合专家模型的结构与权重。Apache 2.0 允许使用、修改和再分发，包括商业用途。^[1][2] 由于发布的是原始基础模型，若要做成聊天机器人，使用者需要自行进行微调。这次发布是 Grok 系列的一个固定节点，标志着 xAI 首个模型的权重正式公开。