美团

是什么

美团 LongCat 团队于 2025 年 9 月 1 日发布了 LongCat-Flash 技术报告^[1]。LongCat-Flash 是一个采用混合专家（mixture-of-experts，MoE）结构的语言模型，总参数为 5600 亿^[1]。

混合专家模型内部包含许多彼此独立的专家子网络，路由环节会把每个 token 只送给其中一小部分。因此总参数描述的是模型的全部容量，而单个 token 实际用到的参数描述的是这个 token 要花多少计算。对 LongCat-Flash 来说，后一个数字并不固定：按上下文不同，每个 token 激活 186 亿到 313 亿参数，平均约 270 亿^[1]。这个浮动区间正是报告着重描述的部分。

计算预算怎么分配

报告称该模型可以动态分配计算预算，实现方式是「零计算专家」（zero-computation expert）^[1]。这类专家可以被路由器选中，但不做任何算术运算，于是模型无需改动路由结构，就能改变一个 token 获得多少真实计算。实际效果是同一套架构在看起来更难的输入上多花算力，在更容易的输入上少花算力；而平均每个 token 约 270 亿参数，就是这些选择在整个负载上摊下来的结果。

第二个设计关乎模型如何铺到多台设备上。一种带捷径连接的混合专家架构（shortcut-connected mixture-of-experts）扩大了计算与通信的重叠窗口，从而提升推理吞吐^[1]。在大模型中，一台设备常常要等其他设备把数据送过来，重叠的意思是用有用的算术运算填满这段等待。能把两者交织起来的窗口越宽，空等的时间就越少，这是让服务变快的一条路径。报告称其推理吞吐超过每秒 100 个 token^[1]。

训练

团队在 30 天内用超过 20 万亿 token 训练了这个模型^[1]。这种规模的训练要在这样的时间窗口内完成，取决于训练栈；报告称其训练栈结合了四项内容：超参数迁移、模型生长式初始化、稳定性套件，以及用于可复现运行的确定性计算^[1]。

每一项的道理都不复杂。超参数迁移是指学习率一类的设置先在小模型上调好，再搬到大规模模型上，而不是直接在最大规模上做搜索。模型生长式初始化是指从一个已经训练好的较小模型出发做扩张，而不是从随机权重开始。稳定性套件是一组检查和干预手段，防止长时间分布式训练跑飞。确定性计算是指同样的输入产生同样的输出，于是一次运行可以重来，一次失败可以追查而不是靠猜。

开放

权重以 MIT 许可发布^[3]，这是一种限制很少的宽松许可，允许复用和修改。Hugging Face 上的模型卡创建于 2025 年 8 月 29 日，比技术报告早三天，仓库把用户指向 longcat.ai 上的对话入口^[2]。

处在什么位置

LongCat-Flash 属于把容量和成本分开的一类模型：总参数很大，单 token 成本只是其中一部分，而且这部分还能随输入变化。在这次发布里，使它有别于同类的是这个变量的实现方式——用一组零计算专家来调节，而不是一个固定的激活比例——以及一份把训练栈与架构一并写下来的报告。MIT 许可和提前出现的模型卡，让外部开发者能和技术描述差不多同时拿到权重。