DeepSeek 发布首个模型 DeepSeek Coder

背景

深度求索（DeepSeek）是一家中国人工智能公司，它公开的第一个模型是代码模型。代码模型是在源代码上训练的语言模型，可以根据自然语言描述编写函数，补全程序员已经写了一半的代码，或者解释一段代码的作用。由于程序员可以直接运行代码检查结果，编程成了大语言模型最常见的应用之一。

开源发布对开发者的意义在于，训练好的权重可以下载。研究者可以研究模型，企业可以把它部署在自己的服务器上，小团队也可以在不为每次请求付费给服务商的情况下进行改造。

发生了什么

2023 年 11 月 2 日，深度求索发布了 DeepSeek Coder ^[3]。这次发布的是一个模型系列，而不是单一模型：参数从 1.3B 到 33B 不等，每个版本都从零开始训练，训练数据为 2 万亿个 token ^[1]。「从零开始训练」指训练从随机设定的初始数值开始，而不是从另一个模型的权重出发。

这些模型是为编程而设计的。训练结合了项目级代码语料和填空式任务，后者让模型能够补全前后代码之间的缺口。模型的上下文窗口为 16K ^[1]。

关键细节

深度求索称，这些模型在开源代码模型中达到最先进水平，并在多个基准测试上超过了闭源的 Codex 和 GPT-3.5 ^[1]。这是公司自己报告的结果，测试使用的是标准测试集。读者可以与之后的独立评测结果对照来看。

模型采用允许研究用途、不受限制商业使用的许可证 ^[1]。技术报告于 2024 年 1 月 25 日发布在 arXiv 上，距离模型发布约三个月 ^[1]。

影响

这次发布让开发者获得了一个可以公开获取的代码模型，附有清晰的许可证和公开的技术说明。这一系列此后被深度求索扩展，推出了能力更强的代码模型。原始的 DeepSeek Coder 之后被列为已停止维护 ^[3]。这一事件更适合被理解为深度求索公开模型历史的起点，而不是一次孤立的产品发布。