通义千问发布混合线性注意力架构 Qwen3-Next

背景

当时多数大语言模型采用标准的 Transformer 结构，每一层都对全部文本进行完整的注意力计算。输入越长，注意力的计算代价越高；如何让模型既更大、又更省算力，是一个活跃的研究方向。通义千问团队的做法是改变网络结构本身。^[1]

发生了什么

2025年9月，通义千问团队以 Apache 2.0 许可证发布 Qwen3-Next。模型权重发布在 Hugging Face 上。^[2][1]

关键细节

该模型的总参数为 800 亿，但处理每个词元时只激活 30 亿参数。这是其效率主张的核心：模型拥有庞大的参数储备，而每个词元只由其中一小部分处理。^[1]

它的各层构成混合结构：三层门控 DeltaNet（一种线性注意力）与一层门控注意力交替排列，每一层之后都接一层混合专家（MoE）层。其中的稀疏 MoE 部分共有 512 个专家，每个词元激活 10 个路由专家和 1 个共享专家。^[1]

影响

该模型以 15 万亿个词元进行预训练。据报告，其基础模型在下游任务上超过了 Qwen3-32B-Base，而训练成本仅为后者的 10%。在超过 32K 词元的上下文中，阿里巴巴报告其推理吞吐量为 Qwen3-32B-Base 的 10 倍。^[1]

线性注意力与稀疏专家层都是为了减少模型处理每个词元时的计算量。线性注意力避免了每个词元都与其他全部词元两两比较的开销，稀疏专家则只激活网络的一小部分。二者结合，是希望两种节省可以并存而不削弱模型能力的尝试，开发方报告的成绩即是对此的证据。