TII 发布 Falcon3 系列模型

发布了什么

2024 年 12 月 14 日，TII 发布了 Falcon3 系列语言模型^[1]。这一系列覆盖 4 种规模——1B、3B、7B 和 10B 参数——每种规模都有两个版本：基础版（base）用文本训练，学习预测下一个词；指令版（instruct）在此基础上进一步调教，用来回答请求、遵循指令^[1]。同时提供两种版本是有实际用处的：基础版是继续训练的起点，指令版则可以直接拿来用。

10B 与深度上采样

这个系列里最大的模型并不是单独设计的一套结构。TII 把 10B 描述为在 7B 基础版上做深度上采样（depth up-scaling）得到的模型，而非另行设计^[1]。

深度上采样是一种「用较小的模型造出较大的模型」的做法。Transformer 的深度指的是层层堆叠的层数；每一层把输出交给下一层，模型越深，表示就能经过越多阶段的运算，参数通常也越多。深度上采样不是先定一套新结构、再从随机初始权重开始训练，而是把已有模型的层堆叠延长，从一套已经被验证可行的设计里长出一个更深、因而更大的模型。这样做省掉了设计和验证新结构的成本，代价则是继承原模型的结构，也继承它原有的弱点。

即便是「放大」出来的模型，训练开销也不小：用掉了 2 万亿个 token 的训练数据，以及 1,024 块 H100 GPU^[1]。token 是文本的切分单位，大致相当于词片，所以 2 万亿 token 衡量的是模型在训练中读到了多少文本。

公布的成绩

TII 表示，这些模型在发布时是同尺寸开放模型中的最优水平^[1]。这个说法有明确的比较范围——公开可获取、参数规模相近的模型——并且只反映发布当时的位置，不是永久的排名。

对于最大的指令版模型，公开的模型卡报告了在 Open LLM Leaderboard 上测得的 IFEval 成绩 78.17^[1]。IFEval 检验的是模型是否遵守那些可以自动核对结果的指令，比如要求以固定格式作答、或把回答限制在多少词以内，评分反映这些可核对的约束被满足的比例。排行榜成绩便于横向比较，但它衡量的只是行为中很窄的一面，并不等于整体质量。

许可证

对打算在这些模型上继续开发的人来说，有一个选择值得注意：这一系列沿用 Falcon-LLM Licence，没有改用 Apache 或 MIT^[1]。Apache 和 MIT 是最常见的宽松开源许可证，条款为人们所熟悉，也普遍被法务团队和软件生态接受。继续使用项目自有的许可证，意味着使用者需要自己读条款，弄清哪些行为被允许、有哪些义务，而一些机构会把非标准许可证当作另寻替代方案的理由。

它在版图中的位置

Falcon3 处在开放模型的中小规模区间，从 1B 到 10B 参数。这个区间正是模型便宜到能在普通硬件上运行、也便宜到能在有限预算内微调的地方；一次性给出多个尺寸，使用者可以按自己手里的算力挑一个合适的。这个系列值得注意的地方不在某一个数字，而在组合：完整的一列尺寸档位、基础版与指令版两条线、一条有文档记载的通向最大模型的放大路径，以及让它留在 Apache 与 MIT 主流之外的许可证安排。