Jamba Reasoning 3B

是什么

Jamba Reasoning 3B 是 AI21 Labs 于 2025 年 10 月 8 日以 Apache 2.0 许可发布的小型开源推理模型^[1]。它只有 30 亿参数，AI21 表示开发者可以把它下载下来，在自己的设备上运行^[1]。这条发布的意义正在这里：一个不必通过远端服务才能用上的推理模型。

注意力与状态空间的混合

模型卡把它的架构描述为混合设计，把 Transformer 的注意力（attention）与状态空间模型（state-space model）Mamba 结合起来^[2]。两种机制处理序列的方式不同。注意力要把每个词元与其他词元逐一比对，因此必须保存一份随输入变长而增长的键值缓存（KV cache），长上下文在内存上的开销主要来自这里。Mamba 这类状态空间模型则是在读取过程中带着一个被压缩的运行状态往前走，不需要保存庞大的注意力缓存。

Jamba Reasoning 3B 共 28 层，其中 26 层是 Mamba 层，2 层是注意力层^[2]。注意力层采用多查询注意力（multi-query attention），有 20 个查询头和 1 个键值头^[2]。模型卡说，Mamba 层让模型在处理输入时不必保存庞大的注意力缓存，因此可以扩展到 256K 词元^[2]。

AI21 给出的上下文窗口是 256k 词元，并称最多可以处理 1M 词元，键值缓存比普通 Transformer 小 8 倍^[1]。

速度与基准成绩

AI21 报告称，在 32k 上下文下，模型在 M3 MacBook Pro 上大约每秒输出 40 个词元，目标设备是手机、Mac 和 PC^[1]。

模型卡列了三项成绩：MMLU-Pro 61.0%，Humanity's Last Exam 6.0%，IFBench 52.0%。同一张模型卡给出的对照是：Qwen 3 4B 为 70% / 5.1% / 33%，Gemma 3 4B 为 42.0% / 5.2% / 28.0%^[2]。并排来看，Jamba Reasoning 3B 在 MMLU-Pro 上低于 Qwen 3 4B、高于 Gemma 3 4B；在 IFBench 上高于这两个模型；在 Humanity's Last Exam 上三者都只有个位数，彼此接近。

分发方式

模型通过 Hugging Face、Kaggle、LM Studio 和 llama.cpp 分发，包含 GGUF 量化版本^[1]。模型卡另有一份独立的 GGUF 模型卡，说明如何在本地运行^[2]。

位置

Jamba Reasoning 3B 属于「能在普通硬件上跑起来的小模型」这一方向：它的特点是层堆叠以 Mamba 为主，配合长上下文和较小的缓存，让 32k 上下文下的本地推理在笔记本上可行^[1][2]。公布的成绩也显示了小尺寸带来的取舍：在指令遵循上，这个 30 亿参数的模型高于模型卡中列出的两个 40 亿参数模型；而在 MMLU-Pro 这类知识型基准上，它落后于 Qwen 3 4B^[2]。以 Apache 2.0 许可放出权重并提供量化后的 GGUF 版本，意味着不必依赖托管账号就能试用，这也是这次发布的立足点^[1]。