无问芯穹发布 Megrez2 端侧 MoE 模型

预览版与正式版

2025 年 7 月 22 日，无问芯穹（Infinigence AI）把 Megrez2-Preview 放到 Hugging Face 上，同时公开了一份说明其设计的技术报告^[1][2]。正式版模型 Megrez2-3x7B-A3B 随后在 2025 年 9 月 12 日上传^[1]。

要解决的是「不可能三角」

技术报告把目标场景设定在端侧硬件上，也就是模型直接跑在手机、笔记本这类本地设备上，并把设计难题概括为速度、精度和成本之间的「不可能三角」^[2]。要装进有限的显存和存储，要快到能用，还要准到值得用；三样里改善一样，往往要拿另外一样去换。

常见的大模型是稠密模型，每个参数对每个词元（token）都要参与计算。混合专家模型（mixture-of-experts, MoE）换了个思路：模型内部有许多彼此独立的专家子网络，每个词元只被路由到其中少数几个，于是每个词元实际消耗的算力远小于模型总规模所暗示的量。代价是专家全都要存下来，哪怕某个词元根本用不到它们。

跨层专家共享

Megrez2 的第一个设计选择正对着这个存储问题。它采用跨层专家共享（cross-layer expert sharing）：相邻的三层不再各自维护一套专家，而是共用一个由 64 个专家组成的池子^[2]。这样得到的模型存储 75 亿参数，但每个词元只激活其中的 30 亿，因此占用的磁盘空间比一个 7B 稠密模型还小^[2]。正式版名字里的 3x7B-A3B 也照应了这一点：存储的参数和激活的参数是两个数，而后者大体决定了每个词元的计算开销。

预门控路由

第二个关键设计是预门控路由（pre-gated routing），它允许在真正需要之前就把专家权重加载进来^[2]。把权重从存储搬运到内存，比纯粹的算术运算慢得多；如果一个系统要等路由器选完专家才开始取权重，那么每一步里都会有一段空等。提前做决定，权重就能在计算走到它们之前各就各位。

训练与公布的成绩

预训练用了 5 万亿个词元，最后还有一个超过 6000 亿词元的阶段，用来把上下文长度做到 32K^[2]。发布信息中给出 MMLU 85.4、GPQA 58.8^[1]，技术报告给出的 C-EVAL 为 91.7^[1][2]。

开放权重

模型权重以 Apache-2.0 许可发布，代码放在 Infini-Megrez 仓库里^[1]，因此可以直接下载、检查并运行，不必走单独的授权流程。

它的位置

面向端侧的模型，通常被用同一把尺子衡量：规模预算缩小之后，还剩多少能力。Megrez2 的答案是两条：用跨层共享把需要存储的参数数量压下去，用提前决定路由来减少取权重带来的等待，两者分别对着报告开头那个三角里的存储和延迟^[2]。这套取舍在具体任务上是否划算要看负载，但发布本身把设计摊开在了明处：报告、成绩和权重都是公开的^[1][2]。