Code Llama

是什么

Code Llama 是一组专门用于代码的语言模型。Meta 于 2023 年 8 月 24 日发布它。它的做法是在代码相关的数据集上，对 Llama 2 继续训练，因此保留了 Llama 2 的通用语言基础，又重点加强了编程能力。^[1]

这里的「专门化」指训练数据中的源代码和代码相关文本占比很大。经过这种训练的模型，更擅长编写函数、补全写到一半的文件等任务。不过它依然是一个语言模型，仍然是逐个词元地预测文本。^[1][2]

由来

论文《Code Llama: Open Foundation Models for Code》共有 26 位作者，第一作者是 Baptiste Rozière，于 2023 年 8 月 24 日提交到 arXiv。^[2]

最初发布的规格是 70 亿、130 亿和 340 亿参数。这三个模型一起在 5000 亿个词元的代码及代码相关数据上训练。2024 年 1 月 29 日，700 亿参数的版本随后发布，训练使用了 1 万亿个词元。^[1]

Meta 提供了三种变体。基础版（base）是通用的代码模型。Code Llama - Python 在 1000 亿个 Python 词元上做了进一步训练。Code Llama - Instruct 则经过调整，能够按照自然语言指令行事。^[1]

主要特点

长序列。 所有模型都以 16000 个词元的序列训练，生成时在长达 10 万个词元的上下文中表现稳定。词元（token）是一小段文本单位，大致相当于一个词或一个词的一部分。上下文越长，模型一次能看到的项目内容就越多。^[1][2]

中间填充。 70 亿和 130 亿参数的基础版与指令版都用中间填充（fill-in-the-middle）方式训练。这意味着模型能利用缺口前后的代码，把新代码插入已有代码的中间，而不只是从末尾接着写。^[1]

发布时的成绩。 HumanEval 和 MBPP 都是让模型编写代码、并通过一组测试的基准。发布时，340 亿参数的 Code Llama 在 HumanEval 上得分 53.7%，在 MBPP 上得分 56.2%。Meta 称，这在它所比较的开放模型中最好，并与 ChatGPT 相当。^[1]

论文中的成绩。 论文报告，整个系列在 HumanEval 上最高达到 67%，在 MBPP 上最高达到 65%。这些数字覆盖的是整个系列，而不只是 340 亿参数的模型。^[2]

硬件要求。 Meta 称，70 亿参数的模型可以在一块 GPU 上运行。较小的模型适合低延迟任务，例如实时代码补全，即建议需要在开发者仍在输入时就出现。^[1]

许可证。 Code Llama 采用与 Llama 2 相同的社区许可证发布，可免费用于研究和商业用途。^[1]

在发展中的位置

Code Llama 展示了通用语言模型如何在一个领域变得更有用。它并非从零开始，而是以已有的基础模型为起点，再投入更多的代码训练。^[1]

它发布时的成绩是与开放模型和 ChatGPT 比较得出的。之后论文中的数据显示，整个系列的得分高于 340 亿参数版本的发布数据。

Meta 于 2024 年 1 月发布的 700 亿参数版本，把系列扩展到了最大规格，训练使用了 1 万亿个词元。^[1]