TII 发布 Transformer 与 Mamba 混合的 Falcon-H1

处理长上下文的两种办法

大多数大语言模型建立在注意力机制之上：生成每个词元（token）时，模型要回看前文，并把已经算过的键和值缓存下来，避免重复计算。这份缓存会随上下文变长而变大，在长文档、长对话这类场景里，它往往是最耗费资源的部分之一。状态空间模型（state space model）走的是另一条路：它不把每个新词元与全部历史逐一比对，而是把一个被压缩过的「状态」一路向前传递，因此输入变长时开销上升得平缓得多。

两种做法各有取舍。注意力擅长精确地取回前文中的某个细节；状态空间层在长跨度上很便宜，但对过去的记忆是概括性的。混合架构的想法，就是让两者各管一段。

发布的是什么

2025 年 5 月 1 日，TII 公开了 Falcon-H1 的模型权重^[1]。这次一次放出了 6 个规模，从 0.5B 到 34B 参数^[2]。按 TII 的说法，这是 Falcon 系列中第一个把注意力层与状态空间模型并行组合起来的模型家族^[2]。

一次给出 6 个规模，既是技术选择也是实用选择：小模型可以在配置不高的机器上跑，大模型则面向服务端部署。对研究者来说，同一个架构在不同规模上的表现可以直接比较，而不必跨代际、跨设计去对比。

「并行」具体指什么

把两类层结合起来有两种做法：一种是串行，把一种层接在另一种层后面依次堆叠；另一种是并行，让两类层同时处理同一段输入，再把结果合并。Falcon-H1 采用的是后一种^[2]。

TII 为这个设计给出的理由与长上下文的开销有关：这种混合在处理长输入时保留了内存上的优势，同时减少了所需的计算量^[2]。通俗地说，状态空间这一路用较低的成本把长序列过一遍，注意力层则补上压缩状态所丢失的精确回忆能力。这个平衡在真实任务里是否成立，正是公开权重让外部研究者能够检验的地方。

文件、推理框架与许可

这次发布的并不只有权重。它包含面向 llama.cpp 的官方 GGUF 文件^[1]；llama.cpp 是本地运行模型的常用工具，常配合量化格式在个人设备上使用。它同时提供了对 vLLM 的支持^[1]，而 vLLM 是很多团队用来同时服务大量请求的推理引擎。两者合起来意味着，同一个模型家族既可以在笔记本上试跑，也可以直接部署成服务，不必等第三方先做格式转换。

许可方面没有变化，仍然是 Falcon-LLM Licence^[1]。这是该系列一直使用的自定义许可，而不是换成了别的条款，因此打算商用或再分发的人应当去读具体条款，不能想当然地按常见的开源许可处理。

技术报告

技术报告在 2025 年 7 月 30 日才发布^[2]，比权重晚了约三个月。这个顺序对判断模型的人很重要：文件先能用，关于架构、训练和评测的详细说明后到。要核对混合设计到底带来什么，最好以这份报告为依据，而不只看发布时的介绍。

它处在什么位置

Falcon-H1 说明了混合架构已经从论文走向实际发布的模型家族：注意力不再被当作唯一的构件，而是与更省算力的序列模型搭配使用的一个部件。这次发布也展示了当下一次「可用」的模型发布大致需要什么——多个规模、常见运行环境的转换文件，以及一开始就写清楚的许可。至于这种混合在长上下文上的实际代价有多大、在哪里帮忙、在哪里吃亏，公开权重正是为了让人去回答这些问题。