Mistral 7B

Mistral 7B 是一个拥有 73 亿参数的语言模型，由 Mistral AI 于 2023 年 9 月 27 日发布，是该公司的第一个模型 ^[1]。Mistral 在发布时称它是「迄今为止同规模下最强大的语言模型」^[1]。真正被拿来比较的是大得多的网络：这样小的模型被期待去做体积数倍于它的模型所做的工作。

架构

架构上有两个关于注意力（attention）的决定。一是分组查询注意力（grouped-query attention，GQA），多个查询头共用一组键值头 ^[1]。生成文本时，每一步都要重新读取缓存的键和值，因此少存一些就减少了显存访问量，推理也就更快 ^[1]。二是滑动窗口注意力（sliding-window attention，SWA）：每一层只看前面 4096 个隐状态，而不是整条序列 ^[1]。于是每层的计算量由窗口大小决定，不随输入整体变长而增长。

这两个设计在键值缓存（KV cache）上交汇。按窗口大小设置的滚动缓冲区缓存（rolling-buffer cache）会把移出窗口的条目直接覆盖，而不是为整条序列保留它们。Mistral 报告说，在 8192 个 token 的序列长度下，这样做把推理所需的缓存内存减半，且不影响模型质量 ^[1]。

报告的成绩

Mistral 的评测称，Mistral 7B 在其测量的全部基准上都优于 Llama 2 13B，并在其中许多基准上优于 Llama 1 34B ^[1]。在代码任务上它接近 CodeLlama 7B，同时仍然擅长英文任务 ^[1]。这些都是公司自己随模型一并发布的对比结果。

发布方式

权重以 Apache 2.0 许可发布，没有使用限制 ^[1]。它既提供直接下载，也放在 Hugging Face 上，并附有一份通过 vLLM 和 SkyPilot 部署的参考实现 ^[1]。宽松的许可再加上一个可以直接照做的部署示例，降低了把它用起来的门槛。

Instruct 版本

Mistral 7B Instruct 是在公开的指令数据集上微调得到的 ^[1]。按 Mistral 的说法，它在 MT-Bench 上的表现超过所有 7B 模型；MT-Bench 是一套由多轮问题构成的、用于比较对话模型的基准 ^[1]。该模型发布时没有内置的内容审核（moderation）^[1]。

论文

题为「Mistral 7B」的论文于 2023 年 10 月 10 日发布在 arXiv 上 ^[2]。论文共列出 18 位作者，包括 Albert Q. Jiang、Arthur Mensch、Guillaume Lample 和 Timothée Lacroix，其中 Jiang 列第一位、Mensch 列第三位 ^[2]。

在序列中的位置

Mistral 7B 是 Mistral AI 公布的第一个模型，也定下了此后该公司的发布路子：开放权重、把体量控制在普通硬件跑得动的范围内、用架构上的技巧压低推理成本 ^[1]。它同时也作为托管服务存在过：API 版本 open-mistral-7b v0.1 至 v0.3 于 2024 年 11 月 30 日标记为弃用，并于 2025 年 3 月 30 日停止提供 ^[3]。