腾讯混元 Hy4 preview

是什么

混元 Hy4 preview（Hy4-preview，也称 Hunyuan Hy4）是腾讯发布并开源的新一代大语言模型，发布于 2026 年 8 月 28 日（星期五）。腾讯称该模型是为生产力任务量身打造的。^[2] 它是一个混合专家（MoE，mixture of experts）模型，总参数为 7700 亿，激活参数为 490 亿，并包含一个多词元预测（multi-token prediction）层。^[1] 模型支持 100 万词元的上下文长度。^[1]

此次发布距离 2026 年 7 月 6 日推出的 Hy3 不到两个月。^[2]

由来

Hy4 preview 是 Hy3 之后腾讯系列中的下一款模型。模型权重，包括 FP8 量化版本，以 Apache License 2.0 发布。^[1][2] Apache 2.0 允许使用、修改和再发布，开发者可以在其条款下基于已发布的权重进行开发。

主要特点

模型共 78 层，其中 1 层为稠密层，77 层为混合专家层。每个混合专家层包含 256 个路由专家和 1 个共享专家，每个词元激活其中得分最高的 8 个路由专家。^[1] 共享专家对每个词元都参与计算，路由专家则由路由器为每个词元分别选择。

模型采用带 IndexCache 的门控 DeepSeek 稀疏注意力（Gated DeepSeek Sparse Attention），以及具有四条残差流的恒等超连接（identity Hyper-Connections）。^[1] 稀疏注意力限制每个词元关注的历史词元数量，从而降低长输入的计算成本。超连接则是在层与层之间拓宽信息传递残差通路的一种结构。^[1]

腾讯公布的成绩为：GPQA Diamond 92.3 分，Terminal-Bench 2.1 85.4 分，SWE-bench Pro 65.7 分，Deep SWE 64.3 分，Toolathlon Verified 74.1 分，Apex Agents 37.1 分。^[1]

在由 163 位腾讯专家参与的内部盲评中，针对 203 项工程任务，Hy4 的平均分为 2.99。同一评估中，GLM 5.3 为 2.92 分，Kimi K3 为 2.94 分。^[1]

推理默认为 high 模式，也可选择 no_think。腾讯注意到，该模型可能会过度推理，并过度验证自己的工作。^[1]

在发展中的位置

财新（Caixin）将 Hy4 与月之暗面（Moonshot）的 Kimi K3、DeepSeek V4 Pro 以及智谱（Z.ai）的 GLM-5.3 等竞争对手放在一起比较。^[1] Hy4 preview 的规模大于总参数为 2950 亿的 Hy3。^[1][2]