Ministral 3B / 8B

是什么

Ministral 3B 和 Ministral 8B 是 Mistral AI 于 2024 年 10 月 16 日发布的一对小尺寸语言模型，目标场景是端侧与边缘计算（edge computing），而不是数据中心里的集中式服务^[1]。两者同时发布，被起了个绰号叫「les Ministraux」^[1]。发布日期正好是 Mistral 7B 发布一周年^[1]。

名字里的 3B、8B 沿用常见写法，指参数量为几十亿级。这类小模型的用途是把模型放到离用户很近的地方——笔记本、手机或本地机器——在这些地方，内存占用、响应延迟以及「不必把数据发到远端服务器」比模型规模本身更重要，这正是两款模型的设计目标^[1]。

设计

两款模型都支持最长 128K token 的上下文，不过发布时通过 vLLM 提供服务时支持的是 32K^[1]。在这么小的模型上做长上下文是值得注意的一点：它让端侧助手能读完一份长文档或一段很长的对话历史，而不必依赖背后的大模型。

Ministral 8B 使用了交错滑动窗口注意力（interleaved sliding-window attention）^[1]。普通的注意力机制里，每个 token 都要和序列中所有其他 token 比较，代价随长度迅速上升；滑动窗口注意力让每个 token 只看邻近的一段固定范围，交错则是把使用窗口的层和不使用窗口的层交替排布，使信息仍能跨越整个序列传递。这里采用这种结构的目的是速度和内存：它带来更快、更省内存的推理^[1]。

基准表现

Mistral 表示这两款模型在多项任务上稳定优于同类模型^[1]。最引人注意的是「Ministral 3B 在多数基准上超过 Mistral 7B」这一说法^[1]——更晚一代的小模型反超了更早的更大模型。对比对象包括 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 和 Gemma 2 9B^[1]，覆盖了同尺寸区间和更大一档的模型。Mistral 还说明，它用自家内部评测框架重新跑了一遍所有被比较的模型，使比较在同一套设置下进行^[1]。

这些数字来自公司随发布一同公布的自评测，反映的是 Mistral 自己对两款模型的定位，而不是独立第三方的排名。

价格与许可

在 API 上，Ministral 8B 的价格是每百万 token 0.10 美元，Ministral 3B 是每百万 token 0.04 美元，输入和输出同价^[1]。两者的许可也不同：Ministral 8B 采用 Mistral 商用与研究许可（Mistral Commercial and Research licences），其 Instruct 权重可用于研究；Ministral 3B 则采用商业许可^[1]。

这个差别值得留意，因为它决定了使用者拿权重能做什么——更小的一款按商业条款提供，8B 的 Instruct 权重则留了一条研究通道。

下线

Mistral 于 2025 年 12 月 2 日弃用 ministral-3b-2410 与 ministral-8b-2410 这两个模型名^[2]，并在 2025 年 12 月 31 日将其正式下线，由 Ministral 3 系列接替^[2]。作为对外提供的模型，这一对存续了一年多一点，在更新迅速的小模型序列里属于常见寿命。