Mistral AI 与英伟达发布 Mistral NeMo 12B

背景

语言模型并不直接读文字，它读的是 token，也就是分词器（tokenizer）在模型处理之前把文本切成的字符片段。因此分词器在相当程度上决定了模型能做什么。一个主要用英文训练的分词器会把英文压成很少的 token，却把其他语言切得很碎，既浪费上下文空间，也增加计算量。上下文窗口（context window）指模型一次能容纳的 token 数量，它决定了模型一趟能读多少文本。量化（quantisation）指把权重存成精度更低的格式，比如 8 位浮点数（FP8），可以降低显存占用、加快推理，但如果模型在训练时没有考虑这一点，量化之后精度可能下降。许可条款决定谁能真正使用这个模型，打包方式则决定用起来要费多少功夫。

发布

2024 年 7 月 18 日，Mistral AI 发布了 Mistral NeMo，这是一个与英伟达（NVIDIA）共同打造的 12B 模型 ^[1]。模型卡写明，指令微调版本由两家公司联合训练 ^[2]。

关键细节

Mistral NeMo 支持最多 128K tokens 的上下文 ^[1]。这是单次对话或单份文档的工作空间：提示词、检索到的段落、示例和模型自己生成的内容都要从这个额度里出。

该模型引入了名为 Tekken 的新分词器，在 100 多种语言上训练 ^[1]。由于分词器的训练数据决定了文本如何被切分，覆盖多种语言的分词器可以避免非英文文本被切成长得异常的 token 序列。

Mistral NeMo 在训练时就考虑了 FP8 推理所需的量化 ^[1]。它不是等模型训练完成之后再量化，而是让训练过程把推理将要使用的低精度运算纳入考虑，使压缩后的版本与全精度版本的行为更接近。

模型权重以 Apache 2.0 许可发布，并打包为英伟达 NIM 微服务（microservice）^[1]。Apache 2.0 是一种宽松的开源许可，NIM 微服务则是用于部署模型的预制容器，因此这次发布同时提供了原始权重和一套现成的部署方式。

模型卡显示，指令微调版本在 5-shot 设置下的 MMLU 成绩为 68.0% ^[2]。MMLU 是一个由各学科选择题组成的基准，5-shot 指模型在作答前先看每类任务的 5 个示例。

意义

这次发布把几个设计选择绑在了一起。长上下文只有在分词器不浪费它时才有意义，因此多语言的 Tekken 分词器与 128K tokens 的上限是配套的 ^[1]。面向 FP8 推理的训练则处理了「发布的模型」与「实际服务的模型」之间的落差：多数部署会采用低精度以压低成本，把这个前提写进训练里，两个版本的差距就小一些 ^[1]。

以 Apache 2.0 发布权重、同时提供 NIM 微服务，面向的是两类使用者：想检查、微调或自行托管模型的开发者，以及不想自己搭推理服务、只想把模型跑起来的团队 ^[1]。模型卡上 68.0% 的 MMLU 成绩，则给指令微调版本与相近规模模型的比较提供了一个参照点 ^[2]。