DeepSeek 发布 DeepSeek-Coder-V2

背景

深度求索（DeepSeek）此前发布了首批代码模型 DeepSeek Coder，此后又推出了通用的混合专家模型 DeepSeek-V2。代码模型是主要在编程材料上训练的语言模型，其实用性取决于它覆盖多少种编程语言，以及一次能考虑多少代码。

要读懂整个项目的模型，需要较长的上下文窗口，即模型一次能够考虑的文本长度。要能跨越多种编程语言工作，则需要广泛覆盖语法和常用库。

发生了什么

2024 年 6 月 17 日，深度求索发布 DeepSeek-Coder-V2，论文同日发布在 arXiv 上 ^[1]。模型是在 DeepSeek-V2 的一个中间检查点上继续预训练得到的，额外使用了约 6 万亿个 token ^[1]。继续预训练指模型在早先训练的基础上，继续从新数据中学习，而不是从头开始。

与 DeepSeek-Coder 相比，新模型支持的编程语言从 86 种扩展到 338 种，上下文窗口从 16K 扩展到 128K 个 token ^[1]。

关键细节

深度求索报告，该模型在代码任务上与 GPT-4 Turbo 相当，并在标准的编程和数学基准测试上超过了 GPT-4 Turbo、Claude 3 Opus 和 Gemini 1.5 Pro ^[1]。这些同样是公司在相应测试集上的自我报告结果。公司还报告，额外训练提升了编程与数学推理能力，同时大致保持了通用语言能力 ^[1]。

2024 年 9 月 5 日，深度求索把 DeepSeek-Coder-V2-0724 与 DeepSeek-V2-0628 合并为 DeepSeek-V2.5 ^[3]。这次合并把代码与对话两条产品线合为一个模型。

影响

这次发布让开发者获得了一个开源代码模型，具有 128K 的上下文窗口，支持 338 种编程语言，并附有论文和代码仓库。它还表明，混合专家模型可以在保留更广泛语言能力的前提下接受大量代码训练。此后合并进 DeepSeek-V2.5 的做法，则显示了公司如何把代码模型整合到单一的产品中。