Falcon3（TII 开源模型系列）

Falcon3 是什么

Falcon3 是 TII（Technology Innovation Institute）发布的一个开放权重语言模型系列。系列覆盖 1B 到 10B 参数，每个规模都有两种形态：直接在文本上训练的基础模型（base），以及经过指令微调的 instruct 模型^[1]。系列中最大的指令模型 Falcon3-10B-Instruct，其权重于 2024 年 12 月 14 日上传到 Hugging Face^[1]。「开放权重」的意思是训练好的参数可以被下载、在本地运行，而具体允许拿它做什么，由另一份许可协议规定，并不随下载自动获得。

10B 模型是怎么造出来的

10B 模型由深度扩展（depth up-scaling）一个 7B 基础模型而来，并在 2 万亿 token 上训练，用了 1,024 张 H100^[1]。深度扩展是一种「让模型变深」的扩容办法：增加层数，而不只是把每一层加宽，并且以一个已经训练好的更小的模型为起点，这样前一次训练得到的成果不会被丢掉，而是接着用。1,024 张 H100 和 2 万亿 token 这两个数字说的是规模：上千张加速卡同时工作，训练中流过模型的文本达到 2 万亿个 token。

结构细节

10B 模型有 40 个解码器层^[1]。这是典型的仅解码器（decoder-only）Transformer 结构：每个块先关注它前面的 token，再把结果往上传递。

注意力使用分组查询注意力（grouped-query attention），有 12 个查询头、4 个键值头^[1]。普通的多头注意力里，每个查询头都配一套自己的键和值；分组查询注意力则让若干个查询头共用一套键值头。这样在生成文字时需要常驻显存的键值缓存就变小了，同时应对多路对话时更省资源，代价是单个头能表达的东西有所减少。

每个头的维度被加宽到 256，旋转位置编码（RoPE）的底数设为 1,000,042^[1]。RoPE 通过按位置旋转查询向量和键向量来编码位置信息，底数决定这些旋转角度从一维到下一维变化得多快。底数调大，模型能区分开的位置范围就更宽，这也正是以长上下文为目标时把它调高的常见理由。上下文窗口为 32K token，词表大小为 131K^[1]。上下文窗口指模型一次能容纳多少文本（提问加回答）；词表则是分词器能产出的不同单元的数量。

语言与后训练

模型支持四种语言：英语、法语、西班牙语和葡萄牙语^[1]。后训练使用了 120 万个样本，覆盖 STEM、对话、代码、安全和函数调用^[1]。后训练是预训练之后的阶段，用挑选过的示例对话把模型调成会按要求作答的样子；这里列出的数据配比，决定了 instruct 版本相对擅长什么——学科知识、日常对话、编程、拒绝有害请求，以及输出结构化的外部工具调用。

榜单记录

在 Open LLM Leaderboard 上，10B instruct 模型的记录是 IFEval 78.17、BBH 44.82、GPQA 10.51、MMLU-Pro 38.1^[1]。这几个基准测的东西并不相同。IFEval 看的是模型是否遵守可以自动核验的指令；BBH 是一组偏难的推理任务；GPQA 由研究生水平的理科题组成，出题时特意让它难以靠检索回答；MMLU-Pro 是覆盖面很广的多学科知识测试，题目比它所取代的版本更难。放在一起读，得到的是一张能力画像，而不是一个单一的位次。

许可

Falcon3 采用 Falcon-LLM Licence，这是 TII 自家发布的定制许可，不属于 OSI 认可的开源许可^[1][2]。OSI 认可的那套许可是开源的通用标准；定制许可可以附加开源许可所不允许的条件，所以打算部署的人需要自己读条款，不能默认常见开源许可下的权限自动适用。

在系列中的位置

这次发布把 1B 到 10B 的完整档位以基础模型和 instruct 两种形态开放了出来，使用者可以按手里的硬件条件挑一个规模。其中最大的 instruct 模型，文档给出的配置是 32K 上下文窗口、四种语言，后训练数据里包含函数调用。