AI21 Labs 发布 Jamba 1.5 Mini 与 Large

背景

2024年3月发布的初代 Jamba 以开放权重的形式，把 Mamba 状态空间层与 Transformer 注意力层结合在一起。到2024年8月，公司准备推出同一设计路线的后续模型，这次面向指令跟随的使用场景。混合 Transformer-Mamba 模型同时使用两类层：注意力负责关联文本中相距较远的部分，Mamba 层则以较低成本处理大部分序列。

发生了什么

2024年8月22日，AI21 Labs 发布 Jamba 1.5，一对混合 Transformer-Mamba 模型^[1]。两个版本分别为 Jamba 1.5 Mini 与 Jamba 1.5 Large。描述这些模型的论文《Jamba-1.5: Hybrid Transformer-Mamba Models at Scale》同日发布在 arXiv 上^[1]。

关键细节

Jamba 1.5 Large 拥有 940 亿激活参数，Jamba 1.5 Mini 拥有 120 亿激活参数^[1]。激活参数指每个词元实际参与计算的参数；在混合专家模型中，这一数字小于总参数。

两个模型都支持有效长度为 25.6 万词元（256k）的上下文^[1]。这样大的上下文窗口使模型能在一次提示中处理很长的文档。

AI21 开源了量化技术 ExpertsInt8。借助它，Jamba 1.5 Large 可以在八块 80 GB 显卡上提供服务^[1]。量化通过以较低精度存储模型的数值来减少所需内存，这使得在一台机器上运行这样规模的模型变得可行。

模型权重以 Jamba 开放模型许可证发布^[2]。该许可证规定了模型的使用方式，具体用途应查阅其条款。

2024年9月，AWS 开始在 Amazon Bedrock 上提供 Jamba 1.5^[3]。

影响

此次发布以开放权重的形式提供了 Jamba 家族中规模较大的成员，同时给出了一种在较少硬件上运行它的方法。AWS 的合作也扩大了该系列的可用范围。下一版本 Jamba 1.6 见其独立条目。