技术创新研究院

一所政府背景的研究机构

技术创新研究院（Technology Innovation Institute，TII）自述为一家全球性研究中心，是阿布扎比政府先进技术研究委员会（Advanced Technology Research Council）的一部分^[1]。它并不只专注单一学科，而是列出十个重点领域，其中包括人工智能与数字科学、自主机器人、密码学、定向能、推进与太空、量子，以及可再生与可持续能源^[1]。

这种广度也体现在它的运作方式上：研究院同时开展与国际机构的合作研究，以及各重点领域内的自有研究^[1]。也就是说，做密码学的团队和训练语言模型的团队属于同一个机构，而不是分属不同的公司。

管理团队

TII 列出 Najwa Aaraj 博士为首席执行官，Chaouki Kasmi 博士为首席创新官^[1]。它的人工智能工作有专门的研究中心：Hakim Hacid 博士被列为人工智能与数字科学研究中心（Artificial Intelligence and Digital Science Research Center）的首席研究员^[1]。这也是把重点领域落成组织单元、并配有专门研究负责人的一个例子。

Falcon 模型

在 AI 圈子里，TII 最出名的是 Falcon 系列语言模型。2024 年 12 月 14 日，它发布了 Falcon3 模型，共 1B、3B、7B、10B 四个规模，每个规模都有基础版（base）和指令版（instruct）^[2]。两者分工不同：基础模型训练的目标是续写文本，指令版则在此之后经过调优，用来按用户的请求作答，所以同一个规模会以两种形式出现。

10B 模型不是按 10B 从头设计训练的。它由一个 7B 基础模型经深度扩展（depth up-scaling）得到，在 1,024 块 H100 GPU 上训练了超过 2 万亿 token^[2]。深度扩展的做法是把较小的模型通过增加深度变大，再继续训练，而不是为目标规模重新设计一套架构从零开始。

2025 年 5 月 1 日，TII 发布了 Falcon-H1 的权重^[3]。这是 Falcon 系列中第一个把 Transformer 注意力与状态空间模型（state space model）并行运行的模型^[3]，也就是在一个网络里同时使用两种处理序列的机制。注意力会把每个位置与其他位置逐一比对，善于捕捉精确细节，但在长输入上开销大；状态空间模型则随着序列向前推进做压缩，代价更低。把两者并行，是为了同时保留这两类特性。Falcon-H1 共发布 0.5B 到 34B 六个规模，技术报告随后于 2025 年 7 月 30 日发布^[3]。

许可

发布条款由 TII 自己制定。Falcon-LLM Licence 是一份自定义许可，发布在 TII 自己的网站上，而不是 OSI 许可^[2][4]。OSI 许可是指经开放源代码促进会（Open Source Initiative）认证的许可，该组织维护着标准的开源许可清单。模型权重并不是普通软件，为它起草的条款常常由发布方自己撰写；因此一次发布算不算开源，要看条款具体允许什么。

位置

TII 属于这样一类机构：由政府资助，但选择把模型权重和技术报告公开发布，而不是把模型留在内部。Falcon3 是公开发布的^[2]，Falcon-H1 的权重是公开释出的^[3]，描述后者的技术报告在发布约三个月后跟进^[3]。这些发布也显示出模型构建上的一条线索：Falcon3 是把较小的基础模型扩展成更大的模型，Falcon-H1 是把两种序列处理机制组合在一起，而许可条款由研究院自己设定^[2][4]。