Falcon-H1（Transformer + Mamba 混合模型）

是什么

Falcon-H1 是 Falcon 系列中的一组开放权重语言模型。2025 年 5 月 1 日，其中 34B 指令微调版本的权重出现在 Hugging Face 上^[1]。这个家族最显著的特点是架构：它采用并行混合（parallel hybrid）设计，让 Transformer 注意力与状态空间模型（state space model）在同一网络中并排运行^[2]。

为什么把两种架构放在一起

此前的 Falcon 模型要么只建立在 Transformer 上，要么只建立在 Mamba 上^[2]。两条路线各有长短。注意力让每个词元（token）直接查看前面所有词元，擅长把散落在长文各处的信息汇总起来，但这份代价随序列长度增长。状态空间模型则维护一份对已读内容的压缩状态，逐步更新，每个词元的花费更低，保留的原始细节却更少。Falcon-H1 的技术报告把这种做法称为并行混合：不是二选一，而是让注意力与状态空间两部分同时存在于一个模型里，两种处理方式都能被调用^[2]。

规模与形态

系列提供 0.5B、1.5B、1.5B-deep、3B、7B 和 34B 几种参数规模，每种都有 base 和 instruct 两个版本^[2]。base 版本只做下一段文本的预测训练，通常作为继续训练的起点；instruct 版本经过指令微调，按用户提问的方式作答。1.5B 一档还单独列出了 1.5B-deep 这个版本^[2]。

语言、运行时与许可

指令微调版本支持 18 种语言，其中包括阿拉伯语、中文、日语和乌尔都语^[1]。模型卡列出 transformers、vLLM 0.9 和 llama.cpp 作为支持的运行时^[1]：第一个是 Hugging Face 生态里的标准库，第二个面向高吞吐的服务端推理，第三个偏重在本机轻量运行。权重以 Falcon-LLM Licence 发布^[1]。

发布节奏

34B 指令版的权重在 2025 年 5 月 1 日先行公开^[1]；5 月 12 日和 13 日，量化后的指令微调版本跟进^[3]。量化是把权重以更低的数值精度存储，从而压低显存占用、让小一些的硬件也能跑起来，代价是精度上的一点损失。技术报告于 2025 年 7 月 30 日发布到 arXiv^[2]。2026 年 1 月，又加入了一个 90M 的 Tiny 指令模型，把家族的规模下限进一步拉低^[3]。

在发展中的位置

报告把这件工作描述为重新审视模型设计、数据策略和训练动态，而不只是把规模做大^[2]。对关注开放权重发布的读者来说，Falcon-H1 是这条思路的一个具体样本：它不把 Transformer 当作唯一选项，而是在同一个模型里同时使用注意力与状态空间层，覆盖从 0.5B 到 34B 的一整套参数规模^[2]，并以具名的许可证公开权重，方便别人在其上继续开发^[1]。