Megrez2（无问芯穹端侧 MoE 模型）

是什么

Megrez2-3x7B-A3B 是一个混合专家（mixture-of-experts，MoE）语言模型，设计目标是端侧原生部署，也就是直接跑在设备上，而不是放在数据中心里^[2]。名字里的两个数字说明了它的结构：每处理一个 token，模型激活约 30 亿参数，而整体存储的参数约为 75 亿^[2]。模型权重于 2025 年 7 月 22 日上传到 Hugging Face，以 Apache-2.0 许可发布^[1]。

混合专家是一种在固定算力预算下换取更大容量的做法。它不再让每个 token 都穿过网络的所有部分，而是由一个路由器（router）为每个 token 挑选一小组「专家」——彼此独立的小型子网络，只有被选中的专家参与计算。这样即使模型整体很大，单个 token 的计算量也能保持在较低水平。代价在存储：所有专家都得存下来，而在手机或笔记本上，存储和带宽往往才是真正的瓶颈。

怎么做

Megrez2 的核心手法正是针对这一约束：跨层专家共享（cross-layer expert sharing）。相邻的层复用同一个专家池，而不是每层各存一套，这压低了需要存储的参数总量，同时不改变每个 token 的激活参数量^[2]。

具体来说，公开的预览版网络有 31 层，第一层是稠密层，其后每三层组成一组，共享一个含 64 个专家的池；路由采用 top-6，每层另外还有 4 个共享专家^[2]。设计上还有两处配套的工程安排。预门控路由（pre-gated routing）让路由器提前取下一组层需要的专家，使权重加载与计算重叠进行，而不是互相等待^[2]。分词器沿用 Megrez-3B 系列所用的那一套，词表大小为 128,880^[2]。

训练

预训练共使用 5 万亿 token，分三个阶段：先 1.5 万亿，再 3 万亿，最后用超过 6000 亿 token 专门拉长上下文^[2]。后训练分两步，先是在数百万条样本上做监督微调，然后做带可验证奖励的强化学习（reinforcement learning with verifiable rewards）^[2]。后者的意思是，训练时对照那些能被自动判定对错的答案——比如数学结果或代码运行结果——来调整模型，而不完全依赖人的偏好打分。

报告成绩

公开的 Megrez2-3x7B-A3B 报告 MMLU 85.4、GPQA 58.8，两项成绩都是在每个 token 只激活 30 亿参数的前提下取得的^[1]。模型上下文长度为 32K token，RoPE 基频为 5,000,000^[1]。MMLU 覆盖众多学科与职业领域的单选题，GPQA 则是一组刻意加难的、研究生水平的理科问题。

位置

Megrez2 值得注意的地方不在于单纯的榜单名次，而在于它瞄准的取舍。在设备上跑语言模型，限制往往不在算力，而在存储容量和访存带宽：每生成一个 token，权重都要从存储搬到处理器，这一搬运过程消耗时间和电量。跨层专家共享减少了需要存储的量，预门控路由则减少了等待权重到位的时间^[2]。这套思路在真实硬件上效果如何，取决于设备条件，也取决于路由器的选择在多大程度上符合后续层的实际需要——这是专家路由的通病：某个 token 若没被送到真正对它有用的专家那里，损失无法追回。模型卡和技术报告给出了架构与主要数字，更长远的检验则在于：随着端侧模型继续变大，这种做法是否依然成立。