Mistral AI 发布端侧模型 Ministral 3B 与 8B

背景

2024 年 10 月 16 日，Mistral AI 发布了两款语言模型 Ministral 3B 与 Ministral 8B，定位是端侧与边缘计算（edge computing）^[1]。这一天也正好是 Mistral 7B 发布一周年^[1]。

名字已经说明了要点：一个是 30 亿参数（3B）的模型，一个是 80 亿参数（8B）的模型。参数是神经网络里被训练出来的数值，参数量的多少大致决定模型需要占多少内存、每回答一次要花多少算力。和数据中心里跑的大模型相比，这个尺寸很小，而「小」正是重点——这个量级的模型原则上可以跑在用户自己已经拥有的设备上。

「端侧」改变了什么

端侧与边缘计算说的不是模型能做什么，而是模型在哪里运行：在用户自己的机器上——笔记本、手机、浏览器，或者靠近数据的小型服务器——而不是通过网络去访问远程数据中心^[1]。这个位置会改变工程上的约束条件。内存、电池、存储和散热都有限，所以参数量直接就是硬指标；同时它也改变了部署能换来什么：请求不必先发到服务器，响应可以更早开始；网络不稳定时系统仍能工作；文本可以留在本地设备上，而不必向外发送。

关键细节

两款模型都支持最长 128K token 的上下文（context）^[1]。上下文窗口指的是模型在回答时能同时「看到」的文本长度——到目前为止的对话，或者正在读的文档——超出窗口的部分要么被摘要，要么靠检索另行取回，要么只能丢弃。窗口达到这个量级，长文档或长时间对话才不至于被反复截断。

Mistral 同时公布了通过 API 调用的价格：Ministral 3B 为每百万 token 0.04 美元，Ministral 8B 为每百万 token 0.10 美元^[1]。按百万 token 计价是 API 售卖模型的通行方式：客户为进出的文本付费，而不是购买许可，因此一项工作的成本与文本量成正比。把两个价格并排给出，开发者就能算出把任务交给小一号的模型而不是大模型需要多少成本。

该公司还把 8B Instruct 版本的权重（weights）开放用于研究用途^[1]。权重就是训练出来的参数本身；把它交出来，研究者可以在自己的机器上运行和研究这个模型，而不只是通过 API 调用。这个限定词很重要：研究用途比开源许可证窄，而且开放的只有 8B 这一款，不包括 3B。

对比是怎么做的

Mistral 用自己内部的评测框架重新评估了所有参与对比的模型，以保证比较公平^[1]。这是一个实在的方法问题。不同机构公布的基准（benchmark）分数，往往是在不同的提示词、不同的采样设置和不同的评分代码下产生的，所以看上去可以直接比较的数字常常并不真的可比。把每个模型都放进同一个框架里重跑一遍，能去掉一部分这样的噪声，让它们站在同一条起跑线上。

代价也是常见的那一种：当评测框架和公布的结果都出自发布模型的公司自己时，这些数字最好被理解为厂商自己的测量，而不是独立结论。小模型在具体任务上是否够用，仍然取决于拿那个任务去实测。

意义

这次发布把「小尺寸」和「长上下文窗口」、低单价放在一起，而且时间上恰好落在 Mistral 7B 之后一年^[1]。它体现的是模型公司的一种常见做法：不只有旗舰模型，而是提供不同尺寸的一组模型，让使用者自己决定在成本与能力之间站在哪个位置。对端侧部署来说，真正要问的不是小模型能否追平大模型，而是它在装得进目标硬件的前提下，是否足够完成手头这件事。