字节跳动 Seed 开源 Seed-Coder 代码模型

背景

代码模型是主要在编程代码上训练的语言模型，开发者可以用它补全代码、编写函数或解释已有程序。模型的参数量指它在训练中学习到的可调数值的数量，8B 即 80 亿。预训练（pre-training）是第一个大规模训练阶段，模型在广泛的数据上学习，之后才会针对具体任务做进一步调整。

发布内容

2025 年 5 月 8 日，字节跳动 Seed 团队发布了 Seed-Coder，这是一组开源代码模型，每个模型都有 80 亿参数。^[1]

该系列有三个版本。Base 是预训练模型；Instruct 经过调整，能够理解并执行书面指令，例如「写一个函数」；Reasoning 经过调整，能在回答前分步推演问题。^[1]

上下文长度指模型一次能接收的代码和文字量。Base 和 Instruct 为 32K 个 token，Reasoning 为 64K 个 token。^[1]

数据如何准备

预训练数据主要由大语言模型筛选，而不是由人工编写的规则来筛选。换句话说，Seed-Coder 学习的代码，是借助语言模型挑选和过滤出来的。^[1]

性能与许可

字节跳动称，在同等规模的开源模型中，Seed-Coder 取得了当时的最好成绩。^[1] 模型以 MIT 许可证发布，这是一种宽松的许可，允许他人使用、复制、修改和再分发代码。^[1]

早期名称

该项目此前曾被称为 Doubao-Coder。^[1]

代码模型通常通过补全函数、修复短程序中的错误等任务来评估。代码语法严格且可以直接运行，因此它的输出比许多其他生成文本更容易客观检验。

影响

同一系列的三个版本分别覆盖代码补全、指令执行和分步推理。