Jais-3-MoVA-36B-A4B（MoVA 注意力混合专家模型）

是什么

Jais-3-MoVA-36B-A4B 是基础模型研究院（Institute of Foundation Models，IFM）推出的语言模型，重心放在阿拉伯语上。名字里的数字说明了它的构造：总共存储 360 亿参数，但每生成一个 token 只用到其中约 40 亿^[1]。

这个差距正是设计的目的。传统的「稠密」模型里，每个参数都参与每一次计算，成本随模型总规模一起上涨。混合专家（mixture of experts，MoE）模型则把前馈层切成许多独立的块，也就是「专家」，再由一个路由步骤把每个 token 只送给其中少数几个。于是模型能保留大量参数，而单个 token 的开销接近一个小得多的模型。在任意时刻，Jais-3 的 360 亿参数里大部分是闲置的。

MoVA 是什么

MoVA 是 mixture of values（值的混合）的缩写。多数混合专家模型只在稠密前馈层里省算力，注意力层仍按稠密方式计算，每个 token 都要过一遍全部注意力参数。MoVA 把同样基于路由的稀疏思路搬到注意力一侧，叠加在混合专家前馈层之上^[1]。名字里的「值」指注意力中的值向量，也就是在序列中从一个位置向另一个位置传递信息的那部分表示，它有选择地被混合，而不是整份使用。

架构上还有一处不常见：上下文窗口为 51.2 万 token^[1]。这足以在一次提示里放下整本书或大型代码库，对需要多步累积工具输出的智能体任务尤其重要。

显存与部署

360 亿参数的模型不算大。IFM 表示，在 BF16 精度下它约占 75 GB，可以放进一块 H200^[2]。在这种设计里，推理开销主要跟随激活参数量而不是存储参数量，因此每个 token 所需的显存与带宽远低于同等总参数量的稠密模型。

量化版本以 FP8、GGUF、MLX 三种格式发布在 Hugging Face 上一个独立的 IFM 组织下^[1]。三种格式对应不同的部署路径：FP8 是数据中心加速卡上的低精度格式，GGUF 常见于本地推理工具，MLX 是苹果为自家芯片提供的运行框架。

评测成绩

IFM 给出的阿拉伯语平均分为 82.5，与一个稠密 320 亿参数模型的 83.1 相差不到 1 分^[2]。智能体平均分为 57.4，稠密模型是 60.0^[2]。例外出现在工具使用上：MCPMark 上它得 69.3，高于稠密 320 亿模型的 66.1^[2]。

所以这并不是一边倒的胜负。与体量相近的稠密模型相比，Jais-3-MoVA 在通用阿拉伯语能力和智能体平均分上略低一点，在工具使用基准上略高一点，而每个 token 激活的参数量只有一个小分数。

在发展中的位置

IFM 于 2026 年 10 月 15 日把它作为六模型家族的一员发布^[2]，并把这个尺寸定位成可规模化运行、快速而低成本的智能体^[2]。稀疏激活、51.2 万 token 上下文、单块加速卡即可容纳的显存占用，再加上公开的量化版本，这几项指向的是同一种场景：智能体被大量并行调用，每次调用的成本和延迟占据主导。接近的阿拉伯语成绩说明稀疏设计没有以大幅牺牲质量为代价，而工具使用上的表现说明长上下文的智能体负载从一开始就在目标之内。