LongCat-Flash（美团 560B MoE 模型）

是什么

LongCat-Flash 是一个基于混合专家（Mixture-of-Experts，MoE）架构的大语言模型，总参数量为 5600 亿 ^[1]。在混合专家模型里，承担主要计算的前馈层被拆成许多个「专家」子网络，路由器为每个 token 只挑选其中少数几个，因此模型的总参数可以非常大，而分摊到单个 token 上的计算量相对有限。LongCat-Flash 把这个单 token 预算做成了浮动的：视上下文不同，每个 token 激活 186 亿到 313 亿参数，平均约 270 亿 ^[1]。

由来

美团 LongCat 团队于 2025 年 9 月 1 日发布了 LongCat-Flash 技术报告 ^[1]。对话版本的模型卡于 2025 年 8 月 29 日在 Hugging Face 上创建 ^[3]，模型权重以 MIT 许可证开放 ^[2]。配套的代码仓库把用户指向 longcat.ai 上的对话接口 ^[2]。

怎么做的

设计中最特别的一点是「零计算专家」（zero-computation experts）^[1]。普通专家各自执行一次学到的变换，而这类专家什么都不算，因此把 token 路由到它们身上，就等于少花算力。路由器可以把真正的专家和零计算专家混着用，模型因而能够动态分配算力预算，而不是对每个 token 一视同仁地投入同样的计算 ^[1]。

架构上还采用了带捷径连接的混合专家结构（shortcut-connected MoE）：跨层的捷径连接扩大了计算与设备间通信可以重叠的窗口，从而提升推理吞吐 ^[1]。这一点之所以重要，是因为在分布式混合专家系统中，激活值在设备之间的传输开销有时会压过本地计算，把它与计算重叠是保持生成速度的主要手段之一。

训练这样规模的模型，除了速度，还要求可复现。团队把超参数迁移（hyperparameter transfer）、模型增长式初始化（model-growth initialization）、稳定性套件（stability suite）和确定性计算组合成一套训练栈，使每次训练可以被复现 ^[1]。超参数迁移是指在小规模上调好的设置直接搬到大规模模型上，不必从头再搜一遍；模型增长式初始化是指从较小的模型起步、逐步长大；稳定性套件是一组检查和干预手段，防止长时间训练跑飞；确定性计算则保证同样的输入得到同样的输出，出问题时可以追查。

训练与报告结果

团队在 30 天内用超过 20 万亿个 token 训练了这个模型 ^[1]。报告称其推理吞吐超过每秒 100 个 token ^[1]。除了计算效率，团队还把模型定位在智能体（agent）能力上，也就是让模型去完成多步骤任务，而不只是回答单个问题 ^[1]。

位置

LongCat-Flash 属于这样一批开放权重的混合专家模型：名义参数规模远大于每个 token 实际用到的参数量。这个差距正是设计的目的所在——模型可以存下大量知识，同时把生成每个 token 的成本控制在可承受的范围内。186 亿到 313 亿的激活区间，加上零计算专家，是让这一取舍在推理时可调、而不是事先固定的明确尝试 ^[1]。

以 MIT 许可证开放权重，同时提供托管对话接口，等于给了研究者和开发者两条使用路径：自己跑，或者直接调用服务 ^[2]。技术报告把架构和训练栈记录了下来，使模型背后的这些选择可以被检视和复用 ^[1]。