Meta 发布 Code Llama

背景

大语言模型可以编写和解释代码，但通用模型不一定擅长编程。Meta 希望以其 Llama 2 模型为基础，打造一个专门面向代码的模型系列。^[1]

发生了什么

2023 年 8 月 24 日，Meta 发布了 Code Llama。它是在 Llama 2 的基础上，用代码进行进一步训练得到的。该系列有 70 亿、130 亿和 340 亿参数三种规模，每种规模都有基础版、Python 版和指令版，训练使用了 5,000 亿 token 的代码。^[1]

关键细节

Meta 报告称，Code Llama 340 亿参数版本在 HumanEval 上得分 53.7%，在 MBPP 上得分 56.2%。这两项基准测试的是模型能否为给定问题写出可运行的程序。Meta 表示，这一成绩与 ChatGPT 相当。^[1]

模型以 16K token 的序列进行训练，可以处理最长 10 万 token 的输入。较长的输入窗口让模型能一次读入大量代码。^[2]

Code Llama 沿用了 Llama 2 的社区许可证，可免费用于研究和商业用途。^[1]

2024 年 1 月 29 日，Meta 加入了 Code Llama 700 亿参数版本，它使用 1 万亿 token 训练。^[1]

HumanEval 和 MBPP 都会给模型一段编程任务的描述，再检查它写出的代码能否通过测试，得分是正确解决题目的比例。Instruct 版经过调整，能按自然语言指令工作，而基础版只是延续给定的代码。^[1]

由于 Code Llama 建立在 Llama 2 之上，它的社区许可证沿袭了这一基础模型。^[1]

影响

Code Llama 为开发者提供了一套开放许可的代码模型，可以下载并用于自己的工具中。它是在 Llama 2 基础上继续用代码训练，并沿用了相同的社区许可证。^[1][2]