DeepSeek 发布 DeepSeek-V3

背景

深度求索在此前的 DeepSeek-V2 中已经验证了两项架构技术：多头潜在注意力（Multi-head Latent Attention，MLA）和 DeepSeekMoE。DeepSeek-V3 沿用了这套架构，并在其上加入新的训练方法。^[2]

发生了什么

2024 年 12 月 26 日，深度求索发布 DeepSeek-V3，并表示模型与论文均完全开源。技术报告于 12 月 27 日发布在 arXiv 上。^[1][2]

关键细节

模型总参数为 6710 亿，每个词元激活 370 亿，支持 128K 个词元的上下文长度。^[1]

模型先在 14.8 万亿个词元上完成预训练，再经过监督微调和强化学习。^[2]

深度求索报告，完整训练耗时 278.8 万个 H800 GPU 小时，采用 FP8 混合精度训练框架，训练过程中没有出现不可恢复的损失尖峰，也没有回滚。^[2]

深度求索称，模型每秒可生成 60 个词元，是 V2 的三倍。^[1]

代码采用 MIT 许可证，模型许可证允许商业使用。自 2025 年 2 月 8 日起，API 价格为每百万输入词元 0.27 美元（缓存未命中）或 0.07 美元（缓存命中），每百万输出词元 1.10 美元。^[1][3]

在深度求索公布的聊天模型成绩中，DeepSeek-V3 在 MATH-500 上得 90.2 分，而 GPT-4o-0513 为 74.6 分，Claude-3.5-Sonnet-1022 为 78.3 分。在 SWE-bench Verified 上，它得 42.0 分，低于 Claude-3.5-Sonnet-1022 的 50.8 分。^[2]

影响

这次发布同时把一个超大规模的开放权重模型、完整的技术报告和深度求索公布的成本数字呈现在公众面前。上述对比结果均为深度求索自行报告的数字。^[2]