Mistral NeMo

是什么

Mistral NeMo 是 2024 年 7 月 18 日发布的 12B 参数模型，由 Mistral AI 与 NVIDIA 合作打造^[1]。它支持最长 128K token 的上下文窗口，定位是 Mistral 7B 的直接替代品^[1]。基础版与指令微调版的检查点都以 Apache 2.0 许可发布^[1]。

上下文窗口指模型一次能「看到」的文本量，提问和回答都算在内。128K 的窗口意味着一份长文档、一个大源码文件或一段长对话可以放进同一次请求，而不必截成短短一段。「直接替代」则指原本围绕 Mistral 7B 搭好的系统，不必改变调用方式就能换成新模型。

由来与发布渠道

这个模型出自 Mistral AI 与 NVIDIA 的合作^[1]。权重发布在 Hugging Face 上，同时以 open-mistral-nemo-2407 的名字上线 La Plateforme，并作为 NVIDIA NIM 微服务提供^[1]。以宽松许可同时放出基础版和指令版，等于给使用者两个起点：一个可以继续微调的原模型，一个已经调好、能听懂指令的模型。模型卡写明，Mistral-Nemo-Instruct-2407 是 Mistral-Nemo-Base-2407 的指令微调版本^[3]。

Tekken 分词器

这次发布引入了名为 Tekken 的新分词器^[1]。分词器负责把文本切成模型真正读写的最小单位，也就是 token；一段文本能塞进多大的上下文窗口，直接取决于切分方式。Tekken 基于 Tiktoken，在 100 多种语言上训练^[1]。在源代码和若干主要语言上，它的效率高出约 30%，在韩语上高 2 倍，在阿拉伯语上高 3 倍^[1]。所谓效率，指的是同样的文本切出的 token 更少。这件事之所以重要，是因为上下文窗口和算力开销都是按 token 计的：同样的文件或对话占用的窗口更小，处理的代价也更低。

训练取向与语言覆盖

模型在训练时考虑了量化（quantisation），因此可以在 FP8 精度下推理而不损失性能^[1]。量化是用更少的位数存储模型权重，让模型跑得更快、占用内存更少；通常这会牺牲一点精度，而训练阶段就把低精度计算考虑进去，正是为了避免这种损失。Mistral NeMo 覆盖英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语，并且针对函数调用（function calling）做了训练^[1]，也就是让模型输出结构化的外部工具调用，而不是一段散文式的回答。

评测与对比

发布时，Mistral 把它与 Gemma 2 9B、Llama 3 8B 做了对比^[1]。模型卡给出的指令版成绩是：MMLU（5-shot）68.0%，TriviaQA（5-shot）73.8%^[3]；另有 HellaSwag（0-shot）83.5% 和 Winogrande（0-shot）76.8%^[3]。MMLU 是一套取自多学科的选择题测试，TriviaQA 是常识问答数据集，HellaSwag 与 Winogrande 考的是模型能否选出合理的续写、能否判断一个说法指向哪个对象。所谓 5-shot 和 0-shot，指的是在题目之前放几个示例。这类分数只有在提示设置一致时才可比较，所以每个数字旁边都注明了示例数量。

在发展中的位置

在 Mistral 的开放权重模型序列里，它是一个承上启下的中量级选手：长上下文窗口、为代码和非英语文本重新训练的分词器，以及一套让同一份权重同时出现在 Hugging Face、托管 API 和 NVIDIA 服务上的分发安排^[1]。Mistral NeMo 于 2026 年 5 月 22 日被标记为弃用，2026 年 7 月 31 日正式退役，由 Ministral 3 8B 接替^[2]。这个结束日期也是记录的一部分：它在服役约两年后被更新的模型取代。