Jamba 1.6

混合 SSM-Transformer 架构

Jamba 1.6 是 AI21 Labs 于 2025 年 3 月发布、面向企业私有化部署的基础模型系列 ^[2]。AI21 把这个系列称为混合 SSM-Transformer 指令微调基础模型 ^[3]。名字说的是架构：网络中大部分层是状态空间模型（state space model，SSM）层，它一步一步读入序列，同时把一个压缩过的内部状态往前带；其余层是普通的注意力（attention）层，其中每个位置都能直接回看它前面的位置。状态空间层在很长的输入上依然便宜，因为它携带的记忆不随文本长度增长；注意力层代价高，但能精确地取出前面某个具体的词。把两者叠在一起，模型就能把一整份长文档保持在视野里，而不必为全部内容付出完整的注意力开销。

两个规模

该系列有两个规模。Jamba Large 1.6 总参数 398B，其中激活参数 94B；Jamba Mini 1.6 总参数 52B，激活参数 12B ^[1]。总参数是模型存下来的全部参数，激活参数则是计算单个词时真正用到的那部分，所以一个模型可以远大于它某一刻实际调动的部分。正是这个差距，让这种体量的模型在服务端跑得起。

两个模型都接受 256k 词元的上下文，支持英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语 ^[1]。这样大的上下文窗口针对的是塞不进普通提示长度的输入：一次给好几份文档、很长的对话、大块代码文件。

基准成绩

AI21 公布了自己做的对比，把 Jamba Large 1.6 与 Mistral Large 2、Llama 3.3 70B、Command R+ 放在一起 ^[1]。在 Arena Hard 上——一组难度较高的提示，靠比较模型输出打分——Jamba Large 1.6 得 76.5，另外三个分别是 71.55、65.77 和 33.05。在 CRAG 上——测的是借助检索到的文档回答问题——它得 78.2，另外三个是 67、61.7 和 49.4。在长上下文测试集 LongBench 上，它得 38.8，另外三个是 34.4、21.7 和 18.9 ^[1]。这些都是 AI21 自己报告的数字；基准分数会随提示格式和参数设置变化，所以由一家厂商拼出的表格，应当读作该厂商自己的测量，而不是定论式的排名。

小模型的成绩写在 Jamba Mini 1.6 的模型卡里：Arena Hard 51.2、CRAG 76.2、FinanceBench（FullDoc）45.4、HELMET LongQA 46.9、LongBench 32 ^[3]。FinanceBench 考的是财报类文件上的问答，HELMET LongQA 考的是长输入上的问答，都属于长上下文和混合架构本来想服务的任务。

发布与许可

权重以 Jamba Open Model License 发布，在 Hugging Face 上以门控方式提供下载 ^[1]：模型可以下载和运行，但获取要经过一道审批，使用也受 AI21 自己的许可条款约束，而不是完全无限制的开放。这个系列与 AI21 的规划与编排系统 Maestro 在同一个月推出 ^[2]，也就是说，这些模型被摆在一个负责任务协调的层旁边，而不是只当作独立的聊天产品。

在模型谱系中的位置

Jamba 1.6 之后由 Jamba 1.7 接替 ^[1]，Jamba Mini 1.6 的模型卡也把 Jamba Mini 1.7 指为更新的版本 ^[3]。所以 1.6 这一代是一个快速迭代系列中的一个切片：两个规模、256k 上下文、开放但带门控的许可，以及与当时几个知名对手并列的厂商自报成绩。