无问芯穹发布端侧模型 Megrez-3B 系列

背景

把模型放在手机、笔记本等设备上运行，意味着它要在内存和功耗都有限的条件下工作，也不必把每次请求都发到数据中心。无问芯穹的 Megrez-3B 系列就是针对这类端侧场景设计的。

发布

2024 年 12 月，无问芯穹发布 Megrez-3B 系列，包含 Instruct 和 Omni 两个版本 ^[1][2]。公司的对比表把两个版本都标为 2024 年 12 月 16 日，而 Instruct 的权重在 2024 年 12 月 15 日已经上传到 Hugging Face ^[1][2]。两个模型都面向手机等端侧硬件，而不是数据中心服务 ^[1]。

两个版本

Megrez-3B-Instruct 是文本模型，有 29.2 亿参数，上下文窗口为 32K ^[1]。上下文窗口指模型一次能处理的文本量，窗口越大，越能应付较长的段落或多轮对话。

Megrez-3B-Omni 在 22.9 亿参数的骨干模型上加入图像和音频输入，总参数约 40 亿 ^[2]。公司称它是首个面向设备的开源全模态理解模型 ^[2]。「全模态」指模型能接收不止一种输入；「理解」则说明它的重点在解读输入，而不是生成图像或语音。

成绩与演示

按公司给出的数字，Omni 在 OpenCompass 多模态基准上平均得分 66.2，高于 LLaVA-NeXT-Yi-34B ^[2]。这些是厂商公布的结果，不是独立测评。除文本模型外，无问芯穹还发布了 InfiniWebSearch，一个可运行的网页搜索演示 ^[3]。

开放权重与定位

两套权重都采用 Apache-2.0 许可证 ^[1][2]，这是一种宽松的开源许可证，外部开发者可以下载、修改和再分发。对一个以本地硬件为目标的模型系列来说，开放权重让开发者能在自己的设备上试用和调整 ^[1]。

两个版本在相近的规模上覆盖不同任务：文本模型带较长的上下文窗口，适合阅读和对话；多模态模型还能接收图像和音频 ^[1][2]。把目标定在手机等端侧设备，使这一系列处在与数据中心服务不同的部署位置 ^[1]。InfiniWebSearch 则把文本模型接进了一个实际应用，而不只是以权重形式发布 ^[3]。