AI21 Labs 发布面向端侧的 Jamba Reasoning 3B

背景

AI21 Labs 当时正在扩展其 Jamba 语言模型系列。模型的设计反映了一个实际问题：在处理长文档时，尽量降低内存占用。

发生了什么

2025 年 10 月 8 日，AI21 Labs 发布了 Jamba Reasoning 3B，这是一款拥有 30 亿参数的开放推理模型 ^[1]。推理模型（reasoning model）会在回答前分步骤推演问题。该模型依据 Apache 2.0 许可证发布，这是一种宽松的开源许可证 ^[1]。AI21 把它面向手机、笔记本电脑和个人电脑，并称其在一台 M3 MacBook Pro 上约可达每秒 40 个词元（token，即一小段文本）的速度，这一数字衡量的是它在该笔记本上输出文字的快慢 ^[1]。

关键细节

模型结构由 26 层 Mamba 和 2 层注意力（attention）层组成 ^[2]。注意力层让文本的每个部分都能参照其他部分，效果强，但输入越长，占用的内存越多。Mamba 层处理长序列时占用的内存较少。AI21 选择这种组合，目的是在长输入上保持较低的内存占用 ^[2]。

该模型的上下文窗口为 256k 个词元，能够一次读完很长的文档或对话 ^[1]。

模型卡报告，它在 MMLU-Pro 上得分 61.0%，在 IFBench 上得分 52.0% ^[2]。MMLU-Pro 是一项覆盖面较广的知识与推理测试，IFBench 则衡量模型遵循指令的能力。这些是模型卡给出的该模型成绩，可以与模型卡中列出的其他小模型成绩对照阅读。

影响

这次发布表明 AI21 把推理模型放到了普通用户自己拥有的硬件上，而不只是服务器上。它的开放许可证意味着任何人都可以下载并在自己的电脑上试用 ^[1]。这些性能数字来自公司自己的报告。