Megrez-3B-Omni（无问芯穹端侧全模态模型）

是什么

Megrez-3B-Omni 是一个开源多模态模型，发布于 2024 年 12 月 16 日，比纯文本版本 Megrez-3B-Instruct 晚一天问世。^[1] 开发方称它是首个面向端侧设备（end-side devices）构建的开源全模态（omni-modal）理解模型；端侧指的是模型直接跑在手机、笔记本这类本地设备上，而不是放在数据中心里。^[1] 这里的「全模态」指它能接受图像、文本和音频三类输入。^[1] 它是在纯文本模型基础上扩展而来，而不是另起一套架构，因此语言部分被继承下来，新的工作集中在给模型接上另外两种「感官」。^[1]

名字本身也说明了设计目标：十亿参数级别的模型小到可以被考虑装进本地设备，真正的问题是，在这个预算里能塞进多少多模态能力，同时又不把原有的语言能力弄坏。

怎么搭起来

模型由三个模块拼成。语言主干有 22.9 亿参数，沿用 Llama-2 的结构，并使用分组查询注意力（grouped-query attention, GQA）。^[1] 图像由 SigLip-SO400M 编码，这个视觉编码器有 4.2 亿参数，通过一个交叉注意力（cross-attention）连接器接入语言模型。^[1] 音频由 Whisper-large-v3 的编码器部分处理，这部分有 6.4 亿参数，通过一个线性连接器接入。^[1] 三个模块加起来约 40 亿参数，上下文长度为 4K token。^[1]

连接器的作用，是把编码器的输出翻译成语言模型能用的形式。线性连接器做一次简单的投影，把音频特征映射到语言模型的表示空间；交叉注意力连接器则让语言模型在计算时直接对视觉表示做注意力查询，而不是只把图像特征当作前缀 token 拼进输入。分组查询注意力让多个查询头共享同一组键和值，从而压缩推理时需要留在内存里的键值缓存（KV cache）——在内存受限的端侧硬件上，这类选择直接关系到模型能不能跑得动。

成绩

在 OpenCompass 的八项多模态基准上，它平均得分 66.2。^[1] 分项成绩包括 MME 2,315、MMMU 验证集 51.89、OCRBench 82.8 和 MathVista 62。^[1] 这几项考察的能力并不相同：有的看通用的图文理解，有的看带学科知识的推理，有的看文档和场景中的文字识别，有的看配了图的数学题。按开发方的说法，它的纯文本能力与纯文本版 Megrez-3B-Instruct 的差距在 2% 以内。^[1] 这一点对端侧模型很关键：把视觉和音频接进来之后，如果语言能力明显退化，模型在日常问答里的可用性就会下降。

单个分数本身说明不了太多。要判断水平，需要把同样的基准、同样的评测设置下其他模型的成绩放在一起对照；不同基准的满分和计分方式不同，跨基准直接相加没有意义，所以给出的平均分是一种概括性的汇总，而不是排名。

位置

在端侧多模态这条线上，Megrez-3B-Omni 走的是一种常见做法：不追求把模型做得更大，而是用一个几十亿参数的语言主干，加上相对专门的视觉、音频编码器，把总参数控制在几十亿的量级，同时保留处理三类输入的能力。约 40 亿参数、4K 上下文这两个数字，基本框定了它能承担的任务规模——足够做看图问答、读图识字一类的事情，但离处理长文档或长音视频还有距离。

开源属性也值得留意。配套的 Infini-Megrez-Omni 仓库创建于 2024 年 12 月 14 日，采用 Apache-2.0 许可。^[2] 对一个要装到手机、笔记本上的模型来说，许可条款决定了别人能不能直接把它集成进自己的产品。