DeepSeek Coder 代码模型

是什么

DeepSeek Coder 是一个面向编程任务的开源模型系列，也是 DeepSeek 的第一次模型发布，时间为 2023 年 11 月 2 日^[3]。这个系列覆盖的规模很宽：技术报告描述的是 1.3B 到 33B 参数的模型^[1]，而 GitHub 仓库列出的是 1B、5.7B、6.7B 和 33B 四个版本^[2]。它们全部是从零开始（from scratch）在 2 万亿 token 上训练的，而不是从一个通用模型改出来的^[1]。所谓代码模型，是指主要在或完全在源代码上训练的语言模型，因此它能补全和编写程序；而「从零开始」意味着参数从随机初始化出发，整个模型都是在代码数据上拟合出来的，而不是接着一个已经学过普通文本的模型继续训练。

怎么训练的

预训练使用的是一个项目级代码语料库：训练数据围绕完整的软件项目来组织，而不只是零散的单文件，这样模型能看到代码在一个仓库里如何分布、如何相互引用^[1]。有两个设计选择影响了模型之后的行为。第一，训练中加入了一个额外的填空任务：把一段代码遮住，让模型根据上下文把它补回来；正是这个任务让代码填空（code infilling）变得好用，也就是在文件中间补全代码，而不只是在末尾续写^[1]。第二，模型拥有 16K token 的上下文窗口，因此一次提示可以带上相当多的周边代码^[1]。

结果、许可与衍生版本

DeepSeek 报告称其在开源代码模型中取得了当时最好的结果，并表示这些模型在多项基准上超过了闭源的 Codex 和 GPT-3.5^[1]。模型以宽松许可发布，允许研究和不受限制的商业使用^[1]。GitHub 仓库采用 MIT 许可，模型权重则另有一份支持商业使用的 Model License 约束^[2]。在基座模型之外，还有通过指令微调（instruction fine-tuning）得到的指令版本，例如 deepseek-coder-6.7b-instruct 和 deepseek-coder-33b-instruct；指令微调是在预训练之后追加的一步训练，让模型学会按要求完成任务，而不只是接着往下写^[2]。技术报告于 2024 年 1 月 25 日发布在 arXiv 上^[1]。

在这条线上的位置

DeepSeek-Coder-Base-v1.5 7B 后来成为 DeepSeekMath 7B 的起始检查点，也就是说代码模型直接喂养了 DeepSeek 之后在数学推理方向的工作^[4]。它的后继者是 2024 年 6 月的 DeepSeek-Coder-V2，把支持的编程语言从 86 种扩展到 338 种，上下文窗口从 16K 扩展到 128K token^[5]。维基百科把最初的 DeepSeek-Coder 系列列为已停止维护^[3]。