Codestral Mamba

是什么

Codestral Mamba 是 Mistral AI 于 2024 年 7 月 16 日发布的代码模型。^[1] 它有 7,285,403,648 个参数，并经过指令微调（instruction tuning），也就是被训练成听从指令，而不只是接着往下续写文本。^[1] 让它区别于同时代多数模型的不是规模，而是架构：它没有采用 Transformer，而是建在 Mamba 状态空间架构上，推理时间随输入增长呈线性。^[1] 随权重发布的模型卡把它描述为基于 Mamba2 架构的开源代码模型。^[3]

架构为什么重要

Transformer 的自注意力（self-attention）会把每个词元（token）与它之前的词元逐一比较，因此处理一段序列所需的计算量大约随长度平方增长，长输入因此昂贵。Mamba 属于另一类模型：状态空间模型（state-space model）。它不保留全部过去供比对，而是携带一个压缩的内部状态向前推进，像循环网络那样逐个词元地更新。于是生成每个新词元的开销大致恒定，总开销随序列长度线性增长，而不是平方增长。^[1]

代价在于，压缩的状态必须把过去概括起来，而概括会丢细节。这样的模型还能不能在很长的输入里找回某个具体事实，是一个要靠实验回答的问题——这正是长上下文检索测试对本设计格外重要的原因。^[1]

由来

Mistral 是在 Mamba 的作者 Albert Gu 和 Tri Dao 的帮助下设计这个模型的。^[1] 与架构的原创者合作、而不是只照着论文重新实现，这本身也是这次发布的一部分定位。

Codestral Mamba 以 Apache 2.0 许可发布，权重放在 Hugging Face 上，同时通过 API 以 codestral-mamba-2407 这一名称提供访问。^[1] 开放权重在这里很关键：一种不常见的架构，只有外部研究者能自己跑起来，才容易被研究、评测和继续搭建。

长上下文与公布成绩

该模型在最长 256K 词元的上下文内做过检索测试。^[1] Mistral 表示，Codestral Mamba 的表现与最先进的基于 Transformer 的代码模型相当。^[1][3]

模型卡给出了 7B 模型的成绩表：HumanEval 75.0%、MBPP 68.5%、Spider 58.8%。^[3] HumanEval 和 MBPP 测的是模型能否根据自然语言描述写出短程序，Spider 测的是把问题转成数据库查询。同一张表里，更大的 Codestral（22B）在 HumanEval 上得到 81.1%，在 MBPP 上得到 78.2%。^[3] 两组数字并排看，信息很清楚：基于 Mamba 的这个模型已经足以被认真对待，但在两项代码生成基准上，更大的模型仍然领先。「相当」的说法和表格数字的落点略有差别，表格是更具体的那一个。

在发展中的位置

Codestral Mamba 更适合被理解成一次公开的实验。它同时代的代码模型几乎都出自 Transformer，而 Mamba 宣称的优势——长输入下更便宜的推理——只有在真实任务上质量站得住时才成立。以宽松许可放出权重，让其他人可以自行验证这个说法，而不是照单全收；256K 词元的检索测试，针对的恰好是压缩状态可能暴露的弱点。^[1]

它作为托管服务存在的时间不长。该模型于 2025 年 6 月 6 日从 API 下线。^[2] 以 Apache 2.0 发布的权重，是这次发布留下来的持久部分。^[1] 对于关心「哪种架构能把代码模型带到可用质量」的人来说，Codestral Mamba 是一个有据可查的样本：一个基于 Mamba2 的 7B 开源模型，测到很长的上下文，并在一组标准基准上与更大的同门模型并列给出分数。