Jamba 1.5（Mini 与 Large）

是什么

Jamba 1.5 是 AI21 Labs 的一组经过指令微调（instruction tuning）的语言模型，分为 Mini 与 Large 两个规模，架构上把 Transformer 层与 Mamba 层放进同一个模型里。它们记录在一篇 2024 年 8 月 22 日发布到 arXiv 的论文中^[1]。两者的区别主要在规模：Jamba 1.5 Large 总参数 3980 亿，其中激活参数 940 亿；Jamba 1.5 Mini 总参数 520 亿，激活参数 120 亿^[2]。总参数与激活参数之分，指的是处理每个词元（token）时只有网络的一部分参与计算，因此每一步的实际开销低于按总参数估算的水平。

为什么把两种架构放在一起

Transformer 层使用注意力（attention），让每个词元与上下文中的其他词元相互比较。这种做法的表达能力强，但上下文越长，计算量涨得越快。Mamba 属于状态空间模型（state space model），它一边按顺序读取序列，一边维护一个体积固定的内部状态，处理开销大致随长度线性增长。Jamba 1.5 把两类层放在同一个模型里，使长输入不必完全依赖代价上涨最快的那部分计算。指令微调则意味着模型被训练成按用户的要求完成任务，而不只是把一段文字续写下去。

长上下文与部署效率

两个模型的有效上下文长度都是 25.6 万词元^[1]。论文称这是开放权重模型中最大的有效上下文^[1]。长上下文只有真的能跑起来才有意义，为此 AI21 提出一种名为 ExpertsInt8 的量化（quantisation）方法，让 Jamba 1.5 Large 在一台配 8 块 80GB GPU 的机器上就能服务 25.6 万词元的上下文，而且不损失质量^[1]。量化指的是用精度更低的数值格式存放权重，从而减少显存占用；这类工作的意义在于，让很长的输入能在普通配置的机器上处理，而不是必须依赖大规模集群。

能做什么

模型支持英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语^[2]。它还提供函数调用（function calling）、JSON 模式与基于所给材料的生成（grounded generation）^[2]。Jamba 1.5 经过训练，在被要求时会输出合法的 JSON^[2]；它也支持工具使用（tool use），也就是调用外部函数，而不是只依靠模型自身的参数作答^[2]。这些能力对应的是同一类需求：让模型嵌在更大的软件系统里运行，并返回程序能够解析的结果。

基准成绩

模型卡给出了 Mini 与 Large 成对的成绩：Arena Hard 46.1 / 65.4；MMLU（思维链提示）69.7 / 81.2；MMLU-Pro 42.5 / 53.5；GSM8K 75.8 / 87；BFCL 80.6 / 85.5^[2]。其中 Arena Hard 是一组较难的提示，通过与其他模型对比来打分；MMLU 与 MMLU-Pro 是难度递增的多项选择知识测试；GSM8K 是小学水平的算术应用题；BFCL 是函数调用基准。五个成绩的走向一致：规模更大的模型分数更高，差距最大的是以对比方式评分的 Arena Hard。

发布与后续

权重以 Jamba 开放模型许可证（Jamba Open Model License）发布，按其条款允许研究和商业使用^[1][2]。2024 年 9 月，AI21 与 AWS 宣布合作，模型通过 Amazon Bedrock 提供^[3]，这让使用该云平台的客户不必自行下载权重就能调用。2025 年 3 月，后续的 Jamba 1.6 面世^[3]。

理解 Jamba 1.5 的一条线索是这样一种取舍：既想要 Transformer 类模型的质量，又想要状态空间结构在长序列上更便宜的处理方式；同时把部署这一环补齐，让宣传的上下文长度在一台八卡机器上真正可用。