蚂蚁集团 InclusionAI 发布百灵 Ling 模型家族

一次发布两个尺寸

2025 年 2 月，蚂蚁集团旗下的 InclusionAI 发布了大语言模型家族 Ling^[1]，中文名为百灵^[2]。这个家族一次推出了两个尺寸：Ling-Lite 和 Ling-Plus^[2]。其中 Ling-plus 的模型卡（model card）创建于 2025 年 2 月 28 日^[1]，模型的权重以 MIT 许可发布^[3]。

为什么用两个数字描述一个模型

Ling 的两个模型都不是用一个参数量来描述，而是两个：总参数量（total parameters）和激活参数量（activated parameters）。总参数量是模型里存放的全部权重数量；激活参数量是处理每一个词元（token，即模型读写的一小段文本）时真正参与计算的权重数量。这类每次只调用一部分权重的设计，通常被称为混合专家（mixture-of-experts, MoE）模型：网络里存着许多各有分工的子部分，再由一个路由环节决定每个词元该用其中哪些。

可以这样直观地理解：假设一个模型存了 100 份权重，但处理任何一个词元时只调用其中 10 份，那么它的总参数量是 100，激活参数量是 10。运行这个模型的成本大致由激活参数量决定，而总参数量决定了要把权重放进显存需要多大空间。

两个模型各是什么规模

Ling-Lite 的总参数量为 168 亿，激活参数量为 27.5 亿^[2]。Ling-Plus 的总参数量为 2900 亿，激活参数量为 288 亿^[2]。两者都只让总参数中的一小部分参与每个词元的计算，因此大模型在「存了多少」上的差距，要比「跑一次花多少」上的差距大得多。

不依赖高端 GPU 的训练

团队表示，这个 3000 亿量级的模型没有依赖高端 GPU 完成训练^[2]。在通常的印象里，训练这一量级的模型需要最新一代的加速卡以及围绕它搭建的集群，所以这个说法值得注意的地方，在于它意味着什么人有条件做这类项目，而不在于某一项具体成绩。2025 年 3 月 7 日，技术报告发布，标题是《Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs》^[2]。标题本身把两件事放在了一起：在这个规模上，每一分算力都要算数；而这项工作是在没有顶级硬件的情况下完成的。

发布里包含什么

这次发布由三部分构成。Ling-plus 的模型卡日期为 2025 年 2 月 28 日，用来记录这个模型的配置信息^[1]。权重以 MIT 许可公开^[3]——MIT 是一种宽松的开源许可，允许他人修改、再分发，也允许商业使用，只需保留版权声明与许可声明。描述训练方法的技术报告则在 2025 年 3 月 7 日发布^[2]。

在开放模型中的位置

开放模型的发布方式差别很大：有的只给一个试用入口或接口，有的在限制条件下放出权重，也有的把权重、模型卡和技术报告一起交给公众。Ling 属于最后一种：两个尺寸、有模型卡、有技术报告，并且采用了宽松许可^[1][2][3]。两个尺寸也给使用方留出了选择空间——较小的 Ling-Lite 激活参数量只有个位数十亿，较大的 Ling-Plus 虽然总参数量高出一个量级多，每个词元仍然只激活其中一部分^[2]。