Yi-Coder 代码模型

是什么

Yi-Coder 是 01.AI 在 2024 年 9 月开源的一系列代码模型。^[1][2] 它有两个规模：1.5B 和 9B 参数，每个规模都同时发布基础版（base）和对话版（chat），一共四个模型。^[1][2] 这一系列覆盖 52 种主要编程语言，支持的上下文长度最高为 128K token，一次可以放进一个较大的源码文件，或者一组彼此相关的文件。^[1]

怎么训练出来的

9B 版本不是从零训练的。01.AI 拿此前已经训练好的 Yi-9B，用额外 2.4 万亿 token 的代码继续训练。^[1][2] 这批数据由两部分构成：来自 GitHub 的仓库级（repository-level）代码，以及从 CommonCrawl（一个大规模公开网页抓取数据集）中筛选出的与代码相关的数据。^[1][2]

「仓库级」这个词是关键。很多代码训练数据是孤立的函数或短片段，能教会模型语法，却教不会它一个真实项目里的文件之间如何互相引用。按仓库组织的代码则让模型看到 import 语句、配置文件、测试，以及改动一个文件如何迫使另一个文件跟着改——这更接近编程助手实际被使用的场景。128K 的上下文窗口指向同一件事：可以交给模型一整套现成代码，而不只是关于某一行的问题。

成绩

01.AI 给出了 Yi-Coder-9B-Chat 的一组基准成绩。在 LiveCodeBench 上它拿到 23.4%，公司称这是参数量 10B 以下的模型中唯一超过 20% 的结果；给出的对照数字是 DeepSeek-Coder-33B-Instruct 的 22.3% 和 CodeLlama-34B-Instruct 的 13.3%。^[1] 在更早也更为常用的 HumanEval 上它是 85.4%，在 MBPP 上是 73.8%。^[1] 01.AI 还表示，Yi-Coder 是首个在 CRUXEval-O 上准确率超过 50% 的开源代码模型。^[1]

另外两项成绩考察的是不同的能力。Aider 的代码编辑基准测的是一个模型能否对现有代码库做出修改，而不是照着提示写一个函数；Yi-Coder-9B-Chat 完成了 54.1% 的题目，接近 Qwen2-72B-Instruct 的 55.6%，高于 Codestral-2405 的 51.1%。^[1] 在 7 个程序辅助数学基准上——这类任务要求模型自己写程序并运行来解数学题——它平均得到 70.3%，而 DeepSeek-Coder-33B 是 65.8%。^[1]

在发展中的位置

这些数字之所以值得注意，在于做出它们的模型有多大。Yi-Coder 被拿来对比的几个系统，参数量是它的三倍到八倍，在 Aider 那一项上差距还要更大。01.AI 想说的并不是一个 9B 模型打赢了最大的代码模型，而是在合适类型的代码数据上做继续训练，可以让一个小模型进入大模型的谈话圈子——这对需要在自有硬件上运行模型、或者要把推理成本压下来的人来说是有意义的。

01.AI 在中国时间 2024 年 9 月 5 日将这些模型开源发布。^[2] 介绍它们的 Hugging Face 博客标注的发布日期是 2024 年 9 月 4 日。^[1] 1.5B 和 9B、基础版和对话版都一并公开，因此这一系列既包含能在普通硬件上跑起来的尺寸，也包含面向正式编程辅助的尺寸。