Mistral AI 发布首个代码模型 Codestral

背景

代码模型（code model）是主要以源代码而非普通文章训练的语言模型。它最常见的用途是补全：读取编辑器里光标附近的代码，预测接下来的内容，可以是一行、一个函数，也可以是一段测试。在实际使用中，这类模型好不好用主要取决于两件事：训练时见过多少种编程语言，以及一次能看住多少上下文代码。

发布内容

2024年5月29日，Mistral AI 发布 Codestral，一个220亿参数、开放权重的代码模型^[1]。参数量指网络中权重的数量，是衡量模型规模的一个粗略指标。Codestral 在超过80种编程语言上训练，上下文窗口（context window）为32K^[1]。上下文窗口指模型一次能处理的文本量——提示、周边文件和生成的代码都算在内；32K 的量级意味着一口气能装下项目里相当一部分代码，而不只是一个函数。

许可与访问方式

权重以新制定的 Mistral AI 非生产许可（Mistral AI Non-Production License）发布，免费使用范围限于研究和测试^[1][2]。也就是说，超出这个范围的使用要回到许可条款本身去看，不能当成可自由使用的软件。除权重之外，Mistral 还上线了专门面向 IDE 补全的端点 codestral.mistral.ai，在为期8周的测试期内免费^[1]。发布时的集成方包括 Continue.dev、Tabnine、LangChain 和 LlamaIndex^[1]。

基准成绩

Mistral 公布的成绩是 Kotlin-HumanEval 73.75，高于 GPT-4-Turbo 的 72.05^[1]。HumanEval 是一组短编程题构成的基准：给出函数签名和文档字符串，模型要写出函数体，得分由运行单元测试决定；Kotlin 版本要求用 Kotlin 完成同样的任务。这只是一个语言上的一个基准，因此它说明的是 Kotlin 生成这一项能力，而不是笼统的编程水平。

位置

Codestral 是 Mistral AI 的第一个代码模型^[1]。发布当天它就接入了 LlamaIndex 和 LangChain^[1]，用这两个框架的开发者可以像调用其他模型那样调用它，不必另写客户端。开放权重、托管补全端点、加上第一天就有的框架集成，三者一起构成了这次发布的基本形态。