混元 A13B

是什么

混元 A13B（Hunyuan-A13B）是腾讯混元团队发布的一款大语言模型，以开放权重（open weights）的形式公开，即训练好的参数可以被他人下载并在自己的环境中运行。它是一个细粒度的混合专家（MoE，mixture of experts）模型，总参数为 800 亿，每个词元处理时激活其中的 130 亿。^[1] 混合专家模型每一步只激活网络的一部分，因此总规模可以很大，而每个词元的计算量低于同等总规模的稠密模型。

由来

2025 年 6 月 27 日，腾讯在 Hugging Face 上发布了这一模型，同时公开了技术报告和训练与推理手册。^[1] 此次一并发布了多个版本：预训练基础模型（Hunyuan-A13B-Pretrain）、指令微调模型（Hunyuan-A13B-Instruct）、FP8 静态量化的 Instruct 版本，以及 GPTQ-Int4（W4A16）量化的 Instruct 版本。^[1] 量化是指用更低的数值精度存储模型权重，从而降低运行所需的显存。

主要特点

模型原生支持 256K 词元的上下文窗口。^[1] 它采用分组查询注意力（grouped-query attention），让一组查询头共享键和值头，以减少推理时的内存占用。^[1]

模型的推理模式是可切换的。默认开启慢思考，即逐步推理的思维链；用户可以通过设置 enable_thinking=False，或在提示词前加上 /no_think 来关闭。^[1]

腾讯公布的 Instruct 版本成绩为：AIME 2024 得分 87.3，AIME 2025 得分 76.8，MATH 得分 94.3，GPQA-Diamond 得分 71.2。^[1] 腾讯还特别强调了面向智能体的测试：BFCL v3 得分 78.3，τ-Bench 得分 54.7，C3-Bench 得分 63.5。^[1] 基础模型方面，公布的成绩为 MMLU 88.17、MMLU-Pro 67.23、GSM8K 91.83。^[1] FP8 和 Int4 两个量化版本在 AIME 2024 上得分相同，均为 86.7。^[1]

该模型可以使用 TensorRT-LLM、vLLM 和 SGLang 进行部署。^[1]

在发展中的位置

混元 A13B 体现了腾讯将中等规模混合专家模型的权重、技术报告和部署指南一并公开的做法。这使外部开发者能够检验模型的表现、在自己的硬件上运行，并在已发布的几种精度版本中选择。^[1]