DeepSeek-Coder-V2 代码模型

是什么

DeepSeek-Coder-V2 是 DeepSeek 发布的开源代码模型，采用混合专家（mixture-of-experts, MoE）结构。MoE 的要点是：每个输入 token 只被路由到网络中一小部分参数上，因此模型的总参数量可以远大于单个 token 实际用到的参数量。仓库中给出了两个规模：Lite 版总参数 16B、每 token 激活 2.4B；完整版总参数 236B、激活 21B。两者的上下文窗口都是 128K token。^[2] 和其他代码模型一样，它处理的对象是源代码而不是普通文章，用途包括补全函数、填补缺失片段、回答关于某个文件的问题。

由来

这个模型于 2024 年 6 月 17 日发布，论文在当天上传到 arXiv。^[1] 它并非从零训练一个代码模型，而是从一个处于中间阶段的 DeepSeek-V2 检查点继续预训练，使用了约 6 万亿个额外 token。^[1] 这一起点决定了它的形态：先继承通用语言模型的结构，再把能力往代码和数学方向推，而不是从一开始就只为编程而建。

相比 DeepSeek-Coder 的变化

与更早的 DeepSeek-Coder 相比，支持的编程语言从 86 种增加到 338 种，上下文窗口从 16K token 扩展到 128K token。^[1] 更长的上下文对代码尤其重要，因为一个代码仓库、一个很长的文件，或者横跨多个文件的改动，可能根本放不进一个很短的窗口，模型能看到的上下文就变少了。

成绩

DeepSeek 报告称，该模型在代码任务上的表现与 GPT-4 Turbo 相当，在标准的编程与数学基准上优于 GPT-4 Turbo、Claude 3 Opus 和 Gemini 1.5 Pro。^[1] 额外的训练提升了代码能力与数学推理能力，而通用语言能力大致保持完好。^[1] 后一点正是这类训练的常见顾虑：在狭窄领域继续训练，模型可能在目标任务上变强的同时丢掉一些处理普通文本的本事，而这里报告的损失很小。

仓库的 README 给出了 DeepSeek-Coder-V2-Instruct 的两项成绩：在一组短小的 Python 编程题构成的 HumanEval 上为 90.2，在竞赛风格数学题集 MATH 上为 75.7。^[2]

许可

代码仓库以 MIT 许可发布，模型系列则在另一份模型许可下支持商业使用。^[2]

在发展中的位置

该模型的基础版本还在 2024 年 6 月被用来升级 DeepSeek-V2-Chat。^[3] 随后在 2024 年 7 月出现了更新版本 DeepSeek-Coder-V2-0724；^[3] 2024 年 9 月 5 日，DeepSeek 把 DeepSeek-Coder-V2-0724 与 DeepSeek-V2-0628 合并成一个模型 DeepSeek-V2.5。^[3] 维基百科将 Coder-V2 归入此后已停止维护的 DeepSeek-V2 系列。^[4]

这条时间线呈现出一种反复出现的做法：先在通用模型之上训练一个专攻代码的版本，再把它合并进下一版通用模型，而不是让它作为一条独立产品线长期保留。