StarCoder

是什么 StarCoder是一个面向代码的开放语言模型，于2023年5月4日由BigCode发布。BigCode是由Hugging Face与ServiceNow共同领导的开放科学协作项目。^[1] 模型约有155亿个参数，上下文长度超过8000个词元，即它一次能够考虑的文本长度。它还具备中间填充（fill-in-the-middle，又称infilling）能力，能够依据空缺前后的代码补全中间部分。模型采用多查询注意力（multi-query attention），这一技术能加快推理时的生成速度。^[1][2] ## 由来 BigCode是一个协作项目，汇集了来自不同机构的研究人员，共同目标是构建开放的代码模型。该项目由Hugging Face和ServiceNow联合领导。StarCoder系列模型是这一工作的主要成果，相关技术论文于2023年5月9日发布在arXiv上。^[2] 基础模型StarCoderBase在The Stack的约1万亿个词元上完成训练，涵盖80多种编程语言。训练数据还包括GitHub的议题（issues）、Git提交记录和Jupyter笔记本。^[1][2] The Stack是一个大型源代码数据集；Jupyter笔记本则是将代码、文字说明和运行结果混合在一起的文档。 StarCoder本身是在StarCoderBase的基础上，进一步使用350亿个Python词元微调而成的模型。^[1] 这里的微调是指用一组范围更窄的示例继续训练，本例中让模型专注于Python代码。 ## 结果 在HumanEval测试中，模型需要根据描述编写正确的函数。StarCoder的pass@1得分为33.6%，StarCoderBase为30.4%。^[1] pass@1指模型在第一次尝试中解决问题的比例。当提示词把模型设定为技术助手时，StarCoder的得分提高到40.8%。^[1] 这一变化说明，问题的表述方式会影响测得的结果。 ## 许可与数据实践 模型依据BigCode OpenRAIL-M v1许可证发布，允许商业使用，但设有使用限制。数据处理和训练代码则以Apache 2.0许可证发布。^[1] 项目还让代码作者能够选择将其代码排除在The Stack之外。一套由Toloka构建的PII（个人可识别信息）脱敏流程，从训练数据中去除了姓名、密码和电子邮件地址。^[1] 脱敏即在训练前替换或删除这类信息。 ## 工具与后续版本 Hugging Face推出了一款VS Code扩展，用于借助StarCoder编写代码。^[1] VS Code是广泛使用的代码编辑器，扩展则为其增加功能。 2024年2月，StarCoder由StarCoder2取代。^[1] ## 影响 StarCoder是专为编程任务构建的开放模型的早期例子之一。它的数据实践，包括退出机制和PII脱敏，构成了该项目如何处理训练数据的记录。想要使用该模型的读者，应直接阅读许可条款和论文，因为其中写明了条款与结果。