微软研究院发布 phi-1 与《Textbooks Are All You Need》

背景

此前，许多代码模型都是用海量原始代码和网页文本训练的。微软研究院想知道：如果训练数据选得更精细，一个小得多的模型能否达到同样的水平。

发生了什么

2023 年 6 月 20 日，微软研究院的研究人员把论文「Textbooks Are All You Need」发布到 arXiv。论文介绍了 phi-1，一个 13 亿参数（1.3B）的代码模型。^[1][2]

该模型使用约 70 亿个词元（token）的「教科书质量」数据训练，其中包括经过筛选的网页代码，以及由 GPT-3.5 生成的教材和习题。^[1]

训练在 8 块 A100 GPU 上耗时四天。^[1]

关键细节

phi-1 在 HumanEval 上的 pass@1 为 50.6%，在 MBPP 上为 55.5%，超过了规模大得多的开源模型。^[1]

论文认为，高质量数据可以改变规模定律（scaling laws）的形态。按这一观点，小模型可以达到大得多的模型的水平。^[1]

权重之后以 MIT 许可证发布在 Hugging Face 上。^[2]

影响

这篇论文提出了「教科书」式的数据路线，微软此后将其带入 Phi 系列。它把小模型研究的关注点从单纯的规模，转向训练数据的质量。2023 年 9 月，phi-1.5 随之发布。^[1][2]

"教科书质量"指什么

这里的"教科书质量"数据，指的是清晰、条理分明、像教科书那样一步步解释概念的文本，而不是从网页上抓取的原始内容。后者可能重复、不完整，甚至有错误。作者从网页代码中筛选出有教学价值的部分，并为其余部分编写合成的讲解和习题。其思路是：模型从为清晰而挑选的示例中学习，效率更高。^[1][2]

结果为何受到关注

在 2023 年占据关注中心的系统中，一个 13 亿参数的模型算是小的。它能在两个标准基准上超过规模更大的开源代码模型，说明提高代码生成质量的途径，并不只有增加数据量和参数量。论文关于规模定律的论断，即规模与性能之间的关系形态可能随数据质量而改变，是更有雄心的一点。^[1]

实际用途

由于权重公开发布，研究人员和学生可以自行下载并运行这一模型，研究它的行为，并与其他代码模型进行比较。这种开放性也是这篇论文成为后续小模型研究参照点的原因之一。^[2]