腾讯开源混元 Hy3 preview

背景

腾讯混元团队在 2026 年 7 月发布正式版 Hy3 之前，先行推出了预览版。预览版让外部用户在正式发布前就能提前测试模型。

发生了什么

2026 年 4 月 23 日，腾讯混元团队在 Hugging Face、魔搭（ModelScope）和 GitCode 上开源了 Hy3 预览版。^[1] Hugging Face 和魔搭都是分享和下载模型权重的平台，GitCode 是代码托管平台。在多个平台同时发布，使用户可以从不同渠道获取同一个模型。

该模型是一个混合专家（MoE，mixture of experts）模型，总参数为 2950 亿，激活参数为 210 亿，上下文为 256K 词元。^[1] 在混合专家模型中，每个词元只由网络中的部分专家子网络处理，因此激活参数少于总参数。

关键细节

预览版共有 192 个专家，采用 top-8 激活，即每个词元使用其中的 8 个专家。模型还包含一个多词元预测（multi-token prediction）层。^[1] 多词元预测让模型同时预测后续的多个词元，可以加快文本生成。

预览版以腾讯 Hy 社区许可协议发布。^[1] 其推理模式为 no_think（默认）、low 和 high。^[1] 基础模型在 MMLU-Pro 上得分 65.76，GSM8K 得分 95.37，MATH（4-shot，即每题前给出四个示例）得分 76.28。^[1]

意义

预览版是 Hy3 系列中较早的一次发布。它采用的许可协议与正式版 Hy3 所用的 Apache 2.0 不同，读者可以通过对比两次发布看到这一变化。^[1] 预览版也让开发者能够在正式版之前提前测试该架构。