腾讯开源 3890 亿参数 MoE 模型混元 Large

背景

混元 Large 是一个混合专家（mixture-of-experts，MoE）模型。它的参数被分给许多专门的子网络，每个输入只激活其中一部分^[1]。这种设计让模型的总参数规模很大，而每一步计算只使用其中的一小部分^[1]。

混合专家模型的总参数量并不等于每一步参与计算的参数量。保存完整模型仍需占用内存，因此这类设计是以内存换取更低的单次计算成本。开放权重意味着训练好的参数数值被公开，拥有足够硬件的人都可以加载和检查该模型。

发生了什么

2024 年 11 月 4 日，腾讯将混元 Large 的技术报告提交至 arXiv^[1]。11 月 5 日，腾讯在 Hugging Face 上开源了预训练版、指令版和 FP8 指令版^[2]。代码发布在 GitHub，权重发布在 Hugging Face 的 tencent/Tencent-Hunyuan-Large 名下^[1]。

关键细节

模型总参数 3890 亿，激活参数 520 亿。论文称其为最大的开源 Transformer 架构 MoE 模型^[1]。它支持最长 25.6 万 token 的上下文，预训练使用 7 万亿 token，其中近 1.5 万亿为合成数据^[1]。腾讯报告的 MMLU 成绩为 88.4%，高于 Llama 3.1 405B 的 85.2%，而激活参数只有 520 亿^[1]。

MMLU 是一项涵盖多个学科的选择题测试，上文的成绩是腾讯在该测试上的报告数字。

影响

此次开源让外部用户可以获取代码和模型权重，直接研究和测试这一规模的模型^[2]。上述成绩是腾讯的自报数字，读者可以与独立评测结果对照参考。

这一规模的模型运行需要大量硬件，因此直接使用它的主要是拥有大量计算资源的机构。