混元 Large

是什么

混元 Large 是腾讯开放权重的 Transformer 混合专家（mixture-of-experts，MoE）模型，总参数 3890 亿，激活参数 520 亿^[1]。腾讯称它是当时最大的开源 Transformer 架构 MoE 模型^[1]。模型权重采用腾讯自有许可证发布，而不是标准开源许可证^[3]。

由来

2024 年 11 月 4 日，腾讯将技术报告提交至 arXiv^[1]。11 月 5 日，腾讯在 Hugging Face 上发布了预训练版（Hunyuan-A52B-Pretrain）、指令版（Hunyuan-A52B-Instruct）和 FP8 指令版（Hunyuan-A52B-Instruct-FP8）^[2]。11 月 18 日，指令版和 FP8 版本又有更新^[2]。

主要特点

模型的路由机制把负责通用知识的共享专家与若干专门的专家结合起来，并采用针对专家的学习率缩放^[1]。在混合专家模型中，共享专家对每个输入都会参与计算，专门的专家则按输入选取，因此同一时刻参与计算的参数远少于总参数。

预训练模型支持最长 25.6 万 token 的序列，指令版支持最长 12.8 万 token^[2]。上下文长度指模型一次能够考虑的文本长度。模型在 7 万亿 token 上预训练，其中包括近 1.5 万亿 token 的高质量合成数据^[1]。

为压缩 KV 缓存，模型把分组查询注意力（grouped-query attention）与跨层注意力（cross-layer attention）结合起来。KV 缓存是模型在生成文本时为先前 token 保存的中间结果，长对话中会占用大量显存。腾讯称该设计使 KV 缓存部分减少了 50%^[2]。

分词器（tokenizer）包含约 10 万个基于 tiktoken 的词元，并额外加入 2.9 万个中文词元。与 LLaMA3 的分词器相比，每个词元所压缩的字符数从 2.78 提高到 3.13^[2]。

报告成绩

在基础模型上，腾讯报告 MMLU 为 88.4，Llama 3.1 405B 为 85.2。它还报告 GSM8K 为 92.8，MATH 为 69.8，HumanEval 为 71.4，CMMLU 为 90.2，C-Eval 为 91.9^[1]。指令版的成绩为：MMLU 89.9，MATH 77.4，HumanEval 90.0，Arena-Hard 81.8，MT-Bench 9.4^[2]。以上均为腾讯的自报结果。