Ling / 百灵（蚂蚁集团 MoE 模型）

是什么

Ling 是蚂蚁集团旗下 AI 研究团队 InclusionAI 发布的一系列大语言模型，中文名为「百灵」^[1]。它们都采用混合专家（Mixture-of-Experts，MoE）架构。首批发布的有两个规模：Ling-Lite 总参数 168 亿，其中每次实际参与计算的激活参数为 27.5 亿；Ling-Plus 总参数 2900 亿，激活参数 288 亿^[1]。

要理解这两个数字的区别，需要先理解 MoE。这类模型内部包含许多彼此独立的子网络，通常称为「专家」，再由一个路由机制决定每段输入交给哪几个专家处理。于是「总参数」衡量的是模型能装下多少东西，「激活参数」衡量的才是处理每个词元（token）实际要花多少算力。模型可以在纸面上很大，运行起来却相对便宜。

由来

团队为这一系列模型发表了技术报告，首次提交于 2025 年 3 月 7 日^[1]；而 Ling-plus 在 Hugging Face 上的模型卡创建于更早的 2025 年 2 月 28 日^[3]。报告的标题把工作重心放在一个约束条件而不是某项能力上：它讲的是在没有高端 GPU 的情况下扩展一个 300B 规模的混合专家模型^[1]。

怎么做出来的

这项工作最核心的工程主张是：团队在性能较低的设备上训练了一个 300B 规模的 MoE，同时在这一规模上与相近的稠密模型和 MoE 模型表现相当^[1]。让这种规模的模型在较弱硬件上训起来，本质上是一个效率问题。报告在几个方面给出了方法：架构与训练过程的优化、训练异常的处置，以及评测效率的提升^[1]。训练异常指的是训练过程中出现的损失突增、梯度不稳定之类的故障，模型越大，这类问题越容易出现、代价也越高，因此如何发现并从中恢复是报告记录的内容之一。

团队还报告了一项数据层面的结果：由知识图谱生成的训练数据，使模型在工具使用能力上强于同类模型^[1]。工具使用指的是模型不只输出文本，还能调用外部函数、搜索或接口；知识图谱是记录实体及其关系的结构化数据，用它来生成训练材料，得到的文本在事实和关系上更规整，而不只是日常对话。

开放与后续版本

模型权重以 MIT 许可证发布，托管在 Hugging Face 和 ModelScope 上^[2]。MIT 是一种宽松的开源许可证，意味着模型可以被商用和修改，限制很少；对一家大型金融科技公司旗下团队做出的这个规模的模型来说，这是一个值得注意的选择。

这一系列并没有停在首发版本。2025 年 5 月 10 日，Ling-lite 升级为 Ling-lite-1.5，推理能力优于前一版本^[2]。

在发展中的位置

与其说 Ling 只是一次模型发布，不如说它同时是一个关于成本的论证。它有两点比较突出：两个规模都采用激活参数远低于总参数的 MoE 设计；以及明确主张，不用最顶级的硬件也能训出有竞争力的模型。与稠密模型、MoE 同行的对比，以及工具使用方面的结论，都是团队自己报告的结果；外部可以独立核对的，是发布本身——权重、许可证和报告——而这也正是它对受限于相似硬件条件的其他团队有用的地方。