AlphaCode

AlphaCode 是 Google DeepMind 开发的代码生成系统，面向竞赛编程（competitive programming）。给它一道竞赛题的题面，它会直接写出一段 C++ 或 Python 程序，作为提交答案接受隐藏测试的评判。DeepMind 于 2022 年 2 月 2 日首次公布这一系统。^[1]

怎么工作

它的思路不是一次写出一个稳妥的解法。对每道题，系统会生成数量极大的 C++ 和 Python 候选程序，规模比以往的代码生成工作高出几个数量级。^[1] 随后这批程序被大幅裁剪：按程序的实际行为过滤、聚类、重新排序，最后只留下 10 个候选用于提交。^[1] 按行为过滤，指的是看程序跑起来会做什么——比如在题目给出的样例测试上是否给出正确输出——而不是看代码长什么样；聚类则让最终这几份提交分散在不同思路上，而不是同一个想法的十个变体。论文把效果归因于三件事：规模大且干净的竞赛编程数据集、高效的 Transformer 架构，以及大规模采样配合基于行为的过滤。^[3] 具体做法是先进行大规模模型采样，再按程序行为过滤，最后只剩下少量提交。^[3]

结果

评估所用的 10 场 Codeforces 比赛都晚于训练数据，题目对系统来说是新的。在这些比赛上，它的估计排名进入参赛者前 54%，大致相当于中位选手的水平。^[1] 在模拟的 Codeforces 评测中，参赛人数超过 5,000 的比赛里它平均排在前 54.3%。^[3]

数据集

与系统一同发布的还有 CodeContests，这是一个包含题目、解答和测试的竞赛编程数据集，放在 GitHub 上。^[1] DeepMind 表示该数据集包含大量测试，并称这是现有数据集普遍缺失、却又十分关键的一项特性。^[1]

发表

论文《Competition-Level Code Generation with AlphaCode》的预印本于 2022 年 2 月 8 日提交到 arXiv，^[3] 共有 26 位作者，其中包括 Oriol Vinyals。^[3] 2022 年 12 月 8 日，论文登上《Science》封面。^[1]

后续

2023 年 12 月，Google 在发布 Gemini 的同时公布了 AlphaCode 2。它建立在一个专门版本的 Gemini 之上，估计表现优于 85% 的参赛者。^[2]

为什么重要

竞赛编程对代码生成是相当苛刻的考验：解法既要在看不见的测试上正确，又要在比赛的时间和内存限制内跑完，光看起来像样并不够。把模型放到这样的场合，用人类选手的排名来度量它，得到的是一个可以和人类对照的具体位置——在它从未见过的比赛上，估计排名处在参赛人群的中段。^[1] 这项工作还留下了 CodeContests 这个公开数据集，其中包含大量测试，为此后的工作提供了训练和评测的素材。^[1]