StarCoder2

是什么

StarCoder2 是一个开放代码模型（code model）系列。这类模型以源代码为主要训练材料，用来写代码、补全代码和修改代码。它由 Hugging Face 与 ServiceNow 合作组成的 BigCode 联合 NVIDIA 于 2024 年 2 月 28 日发布，一次性推出了三种规模：3B、7B 和 15B 参数^[1]。

由来

StarCoder2 是 2023 年 5 月发布的 StarCoder 的后继者，训练数据量约为前者的四倍^[2]。支撑这一规模的是数据集 The Stack v2，它建立在 Software Heritage 的源代码存档之上^[1]。完整数据集为 67.5 TB，第一版为 6.4 TB；折算下来约 9000 亿训练 token，而第一版约 2000 亿^[1]。

怎么做的

三个规模由合作方分工训练：3B 由 ServiceNow 训练，7B 由 Hugging Face 训练，15B 由 NVIDIA 使用其 NeMo 框架训练^[1]。三者的结构设置一致。上下文窗口为 16,384 个 token，但注意力并不在整个窗口上一次性计算，而是限制在一个 4,096 token 的滑动窗口（sliding window）内^[1]。模型使用分组查询注意力（grouped-query attention），即若干注意力头共享同一组键和值的投影，以减小开销。训练目标则是中间填充（fill-in-the-middle）：训练时让模型补上代码中间被挖空的一段，而不只是接着末尾往下写^[1]。这更接近人实际改代码的方式——新内容往往是插进已有的几行之间，而不是只追加在末尾。

训练数据按规模有所不同。3B 使用来自 17 种编程语言的 3 万亿以上 token，7B 在同样 17 种语言上使用 3.5 万亿以上 token，15B 则覆盖 600 多种编程语言、使用 4 万亿以上 token^[1]。其中 3B 的数据取自 The Stack v2 里限定为那 17 种语言的部分，15B 旗舰模型用的是 600 多种语言的部分^[3]。

成绩

Hugging Face 称 StarCoder2-15B 是同规模中最好的模型，在许多评测上能与 33B 以上的模型持平；它同时称小号的 StarCoder2-3B 能追平原版 15B 的 StarCoder^[1]。这些是发布方在发布时的说法。其中值得注意的是纵向比较：新一代里最小的模型，被拿来与上一代最大的模型对标。

公开了什么

在发布的同时，BigCode 公开了全部 StarCoder2 模型、Stack v2 数据集，以及数据处理和训练所用的代码^[3]。模型可以从 Hugging Face Hub 下载，采用 BigCode OpenRAIL-M v1 许可证^[1]。

在发展中的位置

放在开放代码模型这条线上看，StarCoder2 有两处值得记住。一是规模：从 StarCoder 到 StarCoder2，训练数据约增长了四倍，上下文窗口与中间填充目标也都围绕代码的读写方式来设置^[1][2]。二是公开的范围：只放出模型，别人拿到的是可以用的权重；把数据集和数据处理、训练代码一并放出，别人还能复用并改造生产这些模型的流程^[3]。三种规模的分工也说明了合作方式——从可以低成本运行的小模型到 NVIDIA 训练的旗舰模型，每个合作方各自负责自己训练的那一档^[1]。