Megrez-3B-Instruct（无问芯穹端侧模型）

是什么

Megrez-3B-Instruct 是无问芯穹（Infinigence AI）发布的开放权重语言模型，可直接用于对话。公司在 2024 年 12 月 15 日把权重发布到 Hugging Face，采用 Apache-2.0 许可，允许商用与修改，不需要另外签署授权协议^[1]。它的规模属于小模型：总参数 29.2 亿，若不计嵌入层和 softmax 层，剩下 22.9 亿^[1]。这两个数字之所以要分开看，是因为后者更接近模型每生成一个 token 时真正参与运算的参数量。

结构与词表

模型沿用 Llama-2 的结构，注意力使用分组查询注意力（grouped-query attention），没有另造新的模块^[1]。分组查询注意力介于多头注意力与多查询注意力之间：若干查询头共用一组键、值头，从而压缩生成过程中需要常驻显存的键值缓存。模型越小，这段缓存占的比重越大，长对话时尤其明显，因此这个选择是为本地部署服务的。

上下文窗口为 32K token，词表大小为 122,880^[1]。词表大，同样的文本通常被切成更少的 token，留给正文的窗口更宽裕，模型要处理的序列也更短。对中文来说这一点更实在：以英文为主的词表容易把汉字切得很碎。

训练

预训练使用了 3 万亿 token，覆盖中文和英文^[1]。无问芯穹称，它把上一代 14B 模型的能力压缩进了 3B^[1]。这是一个关于相对水平的说法，不对应某一项具体测量。

公布的成绩

模型卡里给出的 OpenCompass 自测成绩为：C-EVAL 84.8、CMMLU 74.7、MMLU 72.8、MMLU-Pro 46.1、HumanEval 78.7、GSM8K 65.5^[1]。这组数字的分布符合一个偏重中文的模型：C-EVAL 高于 MMLU，更难的 MMLU-Pro 又明显低于 MMLU；代码生成（HumanEval 78.7）比多步算术（GSM8K 65.5）保持得更好。需要说明的是，这些是发布方用自家流程跑出来的，应看作公司自报的结果，而不是第三方独立测试。

同一张表里还报告了解码速度：每秒 2329.4 个 token，作为对照，Qwen2-7B 为 1279.4^[1]。这类吞吐数字受硬件、批大小和服务框架影响很大，有意义的读法是同一张表内部的对比，而不是绝对值本身。

为什么用普通结构

团队没有采用稀疏或 ReLU 变体，而是选了朴素的 LLaMA 结构，目的是让开发者不必改代码就能部署^[1]。偏离标准模块的模型往往需要改动过的算子、特定的推理引擎或打过补丁的库；而一个能直接塞进现有 Llama-2 流程的检查点，可以省掉这一步。对一个要在本地跑起来的小模型来说，部署摩擦常常是决定性的因素。

演示与生态

除了权重，无问芯穹还发布了 InfiniWebSearch——一个建立在该模型之上的联网搜索演示，它会自行判断什么时候需要调用搜索^[2]。做法是一个小的智能体循环：模型先读问题，判断自己的知识够不够，不够就发出检索请求，再把结果并回答案。把这类判断放在 3B 模型上而不是服务器端的大模型上，可以让循环更便宜，也留在本地。