状态空间模型（Mamba）

是什么

状态空间模型（state space model）在深度学习里指一类把序列表示成隐藏状态的模型：隐藏状态随着输入一步一步演化，而不是像注意力那样让每个位置直接与所有其他位置比较^[1]。它有连续时间的写法，同时具备循环和卷积两种性质，因此能处理采样不规则的序列，上下文长度也没有上界^[1]。

怎么工作

它的基本结构是：模型维护一个状态，每读入一个新输入就更新一次，并给出这一步的输出。状态是逐步传递的，所以模型不必保存全部历史位置。举例来说，读一句话时，每读到一个词元（token）就更新一次内部状态，最后的状态可以看作整段序列的摘要。

S4 由 Gu、Goel 和 Re 在 2021 年提出，直接借用了控制理论中的状态空间形式^[1]。它在 NeurIPS 2021 上发表，被描述为一个线性状态空间层，把循环模型、卷积模型和连续时间模型结合在一起^[1]。线性结构让同一套更新规则既能按步递推，也能展开成卷积并行计算。

Mamba：让参数随输入变化

2023 年，Albert Gu 和 Tri Dao 提出 Mamba^[1]。论文指出，基础模型几乎普遍建立在 Transformer 架构及其核心的注意力模块之上^[2]；而线性注意力、门控卷积和结构化状态空间模型这类次二次方（subquadratic）架构有一个关键弱点：无法做基于内容的推理^[2]。

Mamba 的关键机制是选择性状态空间（selective state space）：模型的参数随输入变化，把一个时不变系统变成时变系统，从而能过滤掉无关信息^[2]。换句话说，参数成了输入的函数，模型就能根据当前词元选择沿序列继续传播还是遗忘某些信息^[2]。

改动也带来代价。参数随输入变化后，原本高效的卷积写法不再适用^[2]，时变计算本身也带来效率挑战^[1]。为此，作者设计了在循环模式下运行的硬件感知（hardware-aware）并行算法^[2]，借助内核融合（kernel fusion）、并行扫描（parallel scan）和重计算（recomputation）在 GPU 上高效执行^[1]。

在结构上，Mamba 把状态空间模型和 MLP 块合并成一个同质的单一架构^[1]，并面向长序列设计，时间复杂度为线性——论文标题里就写着 Linear-Time Sequence Modeling^[1]。作者称，在语言、音频和基因组学任务上，它比 Transformer 训练和推理都更高效^[1]。

后续

2024 年出现的变体 MoE-Mamba 用 2.2 倍更少的训练步数达到了相当的性能^[1]。

局限

选择性机制回应的是此前次二次方架构无法做基于内容推理的问题^[2]，但它把计算从时不变变成时变，效率要靠专门的硬件感知算法来维持^[1]。另外，与 Transformer 相比的训练和推理效率，是论文作者给出的说法^[1]，实际收益取决于任务和实现。