Mistral AI 发布 Mistral Large 2

发布了什么

2024 年 7 月 24 日，Mistral AI 发布 Mistral Large 2，这是一个拥有 1230 亿参数、上下文窗口为 128K 的语言模型^[1]。模型卡将 Mistral Large 2 描述为一个 1230 亿参数的稠密（dense）语言模型^[2]。

三个数字承载了这次发布的主要信息。参数是网络内部学到的权重，参数量大致衡量模型在训练中能吸收多少东西，以及每生成一个回答要付出多少计算。上下文窗口指的是模型一次能「看见」多少文本——128K 个词元意味着长文档、代码库或很长的对话可以一次处理完，而不必切成碎片。稠密则用来区别另一类设计：有的模型对每个词元只激活网络的一部分，而稠密模型在每一步都动用全部参数。

语言与代码覆盖

该模型支持数十种自然语言和 80 多种编程语言^[1]。代码这一项之所以重要，是因为大量实际应用里的助手工作，是读懂、编写和修复各种技术栈中的源代码，而不只是处理一两种主流语言。

基准成绩

在 MMLU 上——一个考察跨学科知识与推理的常用基准——预训练模型取得了 84.0% 的成绩^[1]。模型卡也给出了预训练模型 84.0% 的同一数字^[2]。这里「预训练」这个词很关键：成绩指的是基础模型在接受指令微调或对齐训练之前的状态，因此它描述的是原始能力，而不是一个成品对话产品的表现。

在哪里可以拿到

权重以 Mistral 研究许可（Mistral Research License）发布在 Hugging Face 上，商业使用需要另行取得许可^[1]。这种安排让研究者可以直接下载和研究模型，同时把商业部署留在协议之后。与发布同步，该模型在 La Plateforme、Le Chat、Vertex AI、Azure AI Studio、Amazon Bedrock 和 IBM watsonx.ai 上线^[1]。实际上这意味着通往同一个模型的两条路径：面向研究的权重直接下载，以及通过 Mistral AI 自家服务和多家大型云平台获得的托管访问——用户不必自己部署就能调用模型。

为什么重要

这次发布处在两条趋势的交汇处。第一，前沿能力越来越依赖规模——参数数量、上下文长度、覆盖语言的广度——而一个拥有 1230 亿参数和 128K 窗口的模型，被作为一个通用系统而非窄用途工具来呈现^[1]。第二，获取条件本身已经成为产品的一部分：以研究许可公开权重，同时通过云伙伴提供商业版本，是一种既广泛分发模型、又不放弃对商业使用控制的方式^[1]。

对一个要选模型的人来说，读法很直接：这次发布交代了它的规模、上下文上限、语言覆盖、基准成绩，以及可以使用它的法律条款——这些正是判断一个模型是否适合某项任务所需的信息。84.0% 的 MMLU 成绩提供了与其他模型在同一测试上比较的参照点，而许可证则决定了一个机构拿到权重之后可以做什么^[1][2]。