《DeepSeek-V3 技术报告》

报告要解决的问题

评价一个大语言模型，通常看两件互相拉扯的事：效果有多好，以及训练它要花多少算力。《DeepSeek-V3 技术报告》由 DeepSeek-AI 署名，于 2024 年 12 月 27 日提交到 arXiv，编号 2412.19437，其内容很大程度上围绕后者展开。报告记录了 DeepSeek-V3 的架构、训练过程和评测结果，这是一个混合专家（mixture of experts）语言模型，总参数 6710 亿，每个 token 激活其中 370 亿。^[1]

混合专家是一种让超大模型跑得起的办法。网络里包含许多各自独立参数化的子网络，也就是「专家」，处理每个 token 时只用其中一小部分。于是总参数量说明模型有多大，激活参数量说明每个 token 实际花掉多少计算。两者之间的差距，正是这种规模的模型能够训练和提供服务的前提。

架构

DeepSeek-V3 采用多头潜在注意力（Multi-head Latent Attention，MLA）和 DeepSeekMoE 架构。这两项在报告中并不是新东西：报告称二者都在上一代模型 DeepSeek-V2 中得到过充分验证，因此新工作建立在已经测试过的组件之上。^[1]

报告中有两处设计被作为该模型的特点提出。其一是无辅助损失的负载均衡策略。在混合专家模型中，训练必须让 token 较为均匀地分配到各个专家，否则少数专家承担几乎全部流量、其余专家闲置。通常的做法是加入一个辅助损失项来惩罚不均衡，代价是训练目标不再是纯粹的语言建模目标。报告描述的这套策略不依赖这样的损失项来完成均衡。其二是多 token 预测的训练目标：模型被训练成一次预测后面若干个 token，而不只是紧接着的下一个。^[1]

训练

预训练使用了 14.8 万亿 token，之后还有监督微调（supervised fine-tuning）和强化学习（reinforcement learning）阶段。^[1]

报告给出的效率数据相当具体。整个训练过程只用了 278.8 万 H800 GPU 小时。^[1] 仅预训练阶段就占 266.4 万 GPU 小时，在由 2048 块 H800 GPU 组成的集群上不到两个月完成。^[1] 作者还报告训练全程稳定，没有出现无法恢复的损失尖峰，也没有回滚——也就是说，训练没有因为损失发散而退回早先的检查点重来。^[1]

另一项说法关于数值精度。报告称其首次在极大尺度上验证了 FP8 混合精度训练：大部分计算以精度更低的 8 位浮点格式进行，同时保持训练数值稳定，而不是依赖这一规模上更常见的更高精度格式。这项验证依托的正是上述预训练过程。^[1]

结果与发布

报告的评测结果显示，DeepSeek-V3 优于其他开源模型，并达到与领先闭源模型相当的水平。^[1] 模型检查点发布在 GitHub 的 deepseek-ai/DeepSeek-V3 仓库中，训练好的权重因此可以被构建它的团队之外的人拿到。^[1]

为什么重要

这份报告的价值，与其说在于对某一个模型的宣称，不如说在于它把训练效率推到了哪一步记录了下来。对任何在这个规模上做模型或研究模型的人，其中有三件事相关。一是能力与算力之间的比例：一个总参数 6710 亿的模型用了 278.8 万 H800 GPU 小时，整个预训练阶段在 2048 块 GPU 上不到两个月完成。^[1] 二是证明了 8 位浮点格式可以承载这一规模的预训练而不出现损失失稳。^[1] 三是负载均衡和多 token 预测这两处架构层面的工作，它们针对的是任何混合专家训练都会遇到的问题，而非只适用于这一个模型。^[1]

由于检查点公开，报告可以被拿来与模型本身对照，而不只是当作对一个拿不到的东西的描述来读。^[1] 详细记录训练过程、用 GPU 小时写明效率数字，再加上公开权重——这三者的组合，使这份文档在此后关于如何经济地训练大模型的工作中成为一个参照。