OpenAI 通过 API 开放代码模型 Codex

背景

在 2021 年夏天之前，OpenAI 的 API 主要围绕文本模型构建。公司在 2020 年 6 月推出 GPT-3 系列文本模型，开发者用它完成各类语言任务，而不是让它写出能运行的程序^[1]。这类语言模型的工作方式是续写：给定前面的文字，逐个词元（token）估计下一个最可能是什么。要让这样的模型写代码，就是把这套能力引向另一种文本。

用代码训练的 GPT 模型

OpenAI 关于 Codex 的研究论文于 2021 年 7 月 7 日提交，描述的是一个在 GitHub 公开代码上微调（fine-tune）过的 GPT 模型^[2]。微调的意思是，从一个已经读过大量文本的模型出发，再用范围更窄、更有针对性的数据继续训练它；这一次，这部分数据是源代码。

OpenAI 把 Codex 描述为 GPT-3 的后代，其训练数据同时包含自然语言和数十亿行公开源代码^[4]。把两者混在一起，对它的用途很关键：用户用日常语言说清自己想要什么，模型则要把这句话对应到某种编程语言的语法和惯用写法上。

发布

2021 年 8 月 10 日，OpenAI 通过 API 以非公开测试（private beta）的形式发布改进版的 Codex^[1]。这次发布让公司的 API 不再局限于此前提供的文本模型^[1]。非公开测试意味着使用权限受限，而不是面向所有人开放。

按 OpenAI 的说法，Codex 熟练掌握十几种以上的编程语言，能理解用自然语言写出的简单指令，并代替用户执行^[4]。这两件事其实是同一件事的两面：先听懂要求，再把它变成能干这件事的代码。

HumanEval 与成绩

与模型一起，论文提出了一个名为 HumanEval 的评测基准，并给出了 Codex 在它上面的成绩：只允许尝试一次时，模型解出了 28.8% 的题目；抽取 100 个样本时，这个数字是 70.2%^[2]。两个数字的差距来自后一种评测方式——模型可以针对同一道题生成很多个候选，只要其中有一个正确，这道题就算被解出。把两个数字并排给出，读者能看出成绩里有多少来自多次生成再挑选，多少来自一次就写对。

与 GitHub Copilot 的关系

OpenAI 表示，Codex 正是驱动 GitHub Copilot 的模型，而 GitHub Copilot 是 OpenAI 与 GitHub 在一个月前共同打造并推出的^[4]。同一个底层能力由此出现在两个地方：一个是开发者可以在自己的程序里调用的通用 API，一个是与 GitHub 合作做出来的产品。对使用者来说，Codex 这个名字可能来自 API 文档，也可能来自 Copilot，两者背后是同一套模型^[4]。

后来

Codex 系列模型在 OpenAI 的 API 中继续提供了一段时间，于 2023 年 3 月 23 日下线^[3]。到那时，这次发布摆在开发者面前的那个想法——用日常语言描述任务，让模型写出代码——已经足够常见，最初的这批模型也就可以退场了。