Seed-Coder 代码模型

是什么

Seed-Coder 是字节跳动 Seed 团队于 2025 年 5 月 8 日发布的开源代码模型系列，项目此前叫 Doubao-Coder。^[1] 该系列包含 Base、Instruct、Reasoning 三个版本，均为 8B 参数。^[1] 模型以 MIT 许可证发布，并附有一份 arXiv 技术报告，编号为 2506.03524。^[1] 仓库说明所有 Seed-Coder 模型都在 Hugging Face 的 ByteDance-Seed 合集中公开提供。^[1]

重点在数据

介绍代码模型时，人们常从架构讲起；Seed-Coder 的团队则从训练数据讲起。该系列建立在项目所称的「以模型为中心」（model-centric）的数据处理之上：负责筛选代码预训练数据的不是人工编写的规则，而是大语言模型本身，这些数据来自 GitHub、代码提交记录以及与代码相关的网页。^[1] 技术报告的标题也是同一个意思——《Seed-Coder: Let the Code Model Curate Data for Itself》。^[2]

筛选对代码模型之所以重要，是因为从网上抓来的代码质量极为参差。一个仓库里可能既有打磨过的库，也有做了一半的实验、没人看的生成文件，还有网页里被摘出来、缺少上下文的代码片段。全都拿来训练，模型学到坏习惯和学到好习惯一样容易。基于规则的筛选只能去掉写规则的人事先想到的东西——文件后缀、许可证头、最小长度之类；基于模型的筛选则原则上可以逐条判断，捕捉到写规则时没想到的情况。这就是该项目的取舍：用一个语言模型取代规则手册，由它决定代码模型能学到什么。^[1]

三个版本，两种上下文长度

Base 与 Instruct 版本使用 32K 上下文窗口，Reasoning 版本使用 64K，并以强化学习（reinforcement learning）训练。^[1] 此外还发布了 Reasoning 模型的 bf16 版本。^[1] 这种划分对应一种常见的分工：Base 模型承载预训练得到的代码知识，Instruct 模型被调教成直接听从用户请求，Reasoning 模型则被训练成先想清楚再作答。更大的上下文让 Reasoning 模型能同时容纳问题本身和推理的中间步骤。

报告的成绩，以及一次更正

字节跳动 Seed 表示，该系列在代码生成、补全、编辑、推理以及软件工程任务上，取得了 8B 规模开源模型中的最好结果，并超过了一些参数量大得多的模型。^[1] 这类比较取决于选了哪些基准、怎么跑，所以故事的后半段也值得一看。2025 年 5 月 14 日，仓库发布说明称，发现其 BigCodeBench 评测结果中存在一处设置不一致。^[1] 把这种更正公开出来，是一个不大但有意义的信号：模型发布里的评测表格是一种主张，而主张是可以被核对的。

论文

技术报告《Seed-Coder: Let the Code Model Curate Data for Itself》于 2025 年 6 月 4 日提交到 arXiv，次日即 6 月 5 日做了修订。^[2] 它比模型本身晚约一个月出现，也就是说权重和 Hugging Face 合集先于完整论文与外界见面。

处在什么位置

Seed-Coder 是一个 8B 的开源权重系列，采用宽松许可证，面向写代码、补代码、修代码这类日常任务。^[1] 它最值得注意的主张不在规模，而在方法：用与训练对象同类的大模型来决定训练数据应该是什么样。^[1] 对关心代码模型如何构建的读者来说，值得跟进的正是这一点——数据筛选本身是一个建模问题，而不是一段清洗脚本。