Qwen3-Next 新架构模型

背景

Qwen3-Next 由阿里巴巴通义千问团队于2025年9月以 Apache 2.0 许可证发布。它的目标是尝试一种不同于多数大语言模型所用标准 Transformer 结构的架构。该设计把线性注意力（linear attention）与稀疏混合专家（MoE）层结合起来，这一组合在2026年2月成为 Qwen3.5 的架构。^[2][1][3]

它是什么

Qwen3-Next-80B-A3B 的总参数为 800 亿，但处理每个词元时只激活其中的 30 亿。词元是文本的基本单位，激活参数则是实际参与处理该词元的参数。模型名称体现了这一划分：80B 为总规模，A3B 表示约 3B 的激活参数。^[1]

架构

网络采用混合结构：共48层，分为12个模块。每个模块包含三层门控 DeltaNet（Gated DeltaNet）以及一层门控注意力（Gated Attention）。门控 DeltaNet 是一种线性注意力形式，门控注意力则是较为传统的注意力机制。上述每一层之后都接一层混合专家（MoE）层。^[1]

标准注意力要让每个词元与其他所有词元进行比较，计算量随文本长度迅速增长。线性注意力是一种近似方法，随长度增长得更平缓，因此混合结构通常只保留少量完整注意力层，其余使用成本较低的线性层。^[1]

其中的 MoE 部分稀疏程度很高：共有 512 个专家，对每个词元激活 10 个路由专家和 1 个共享专家。路由专家由路由器按词元挑选，共享专家则处理所有词元。^[1]

训练与效率

Qwen3-Next 的预训练数据为 15 万亿个词元。阿里巴巴报告称，其基础模型在下游任务上超过了 Qwen3-32B-Base，而训练成本只有后者的 10%。^[1]

该设计也关注推理（即生成输出）阶段的效率。模型采用多令牌预测（multi-token prediction），即一次预测后面的多个词元而非一个，这既有助于预训练，也支持推测解码（speculative decoding）：先快速草拟若干词元，再统一验证。在超过 32K 词元的上下文中，据报告其推理吞吐量是 Qwen3-32B-Base 的 10 倍。^[1]

上下文与性能

原生上下文窗口为 262,144 个词元，借助 YaRN（一种扩展上下文长度的技术）可扩展至约 100 万个词元。^[1]

Instruct 版本在多项基准测试中进行了评估。它在 AIME25 上得分 69.5，略低于 Qwen3-235B-A22B-Instruct-2507 的 70.3；在 Arena-Hard v2 上得分 82.7，高于该模型的 79.2；在 LiveCodeBench v6 上得分 56.6，高于其 51.8。这些是阿里巴巴公布的成绩，结果好坏互现，并非全面领先。^[1]

在通义千问系列中的位置

Qwen3-Next 的意义在于它测试了一些架构选择，这些选择后来出现在 Qwen3.5 系列中。在2026年2月，门控 DeltaNet 与稀疏 MoE 的组合成为该系列的基础。^[3]

对一般读者而言，主要启示是：当每个词元只激活大部分参数中的一小部分时，一个总参数很大的模型可以以接近小模型的计算成本运行。^[3]