Phi-1

是什么

Phi-1 是微软研究院（Microsoft Research）为编写 Python 代码训练的一个 13 亿参数 Transformer 语言模型^[1]。论文题为《Textbooks Are All You Need》（arXiv:2306.11644），于 2023 年 6 月 20 日发布，模型权重以 MIT 许可在 Hugging Face 上公开^[2]。它的适用范围被刻意收得很窄：面向 Python，而不是通用编程语言^[2]。十几亿参数放到通用对话模型里算小的，Phi-1 引起关注的地方不在规模，而在它关于「小模型该怎么训练」的主张。

由来：把数据当作变量

论文的核心论点落在训练数据上，而不是模型结构上。当时的代码模型大多直接学習网络爬取来的原始语料，里面混着文档、论坛帖子、教程、写了一半的代码片段和大量噪声。作者主张改用「教科书质量」的数据：读起来像一份写得仔细的讲义，先讲清一个概念，再配练习。他们的结论是，数据质量可以替代模型规模和数据规模^[1]，也就是说，一个只读很干净材料的小模型，能和读得多得多的大模型竞争。

具体配方混合了两类数据。约 60 亿个 token 来自经过筛选的代码与自然语言网页数据，取自 The Stack 和 StackOverflow；另有约 10 亿个 token 是合成数据，即用 GPT-3.5 生成的 Python「教科书」和练习题^[1][2]。合成数据这部分正是论文标题的来源：用一个大模型给小模型写教材。

Token 数量这里有两个容易混淆的数字。模型卡列出训练总量为 540 亿个 token，其中不重复的有 70 亿个^[2]，也就是说同一批材料被反复读过多遍，总量计入了重复的部分。论文给出的训练开销是 8 块 A100 显卡上约 4 天^[1]。

成绩

衡量代码模型的常用办法是 HumanEval：给出函数签名和文档字符串，让模型写出函数体，再把生成的代码拿去跑单元测试，pass@1 指第一次生成的代码就通过的比例。MBPP 类似，题目是简短的独立小问题。Phi-1 在 HumanEval 上得到 50.6% 的 pass@1，在 MBPP 上得到 55.5%^[1]。作者报告说，它在这两个基准上都超过了其他开源代码模型，总体上只有 GPT-4 更好^[1]。

还有一个结果从另一个方向说明了规模不是唯一变量：一个 3.5 亿参数的版本 phi-1-small 用同一套流程训练，在 HumanEval 上达到 45%^[1]。参数只有四分之一，成绩仍在同一区间。

局限

微软的模型卡写明 Phi-1 最适合代码格式的提示，并提醒生成的代码应被当作起点，而不是确定的解法^[2]。模型卡明确说明，把它直接用于生产环境的编码任务超出设计范围，模型也没有针对生产级代码做过测试^[2]。再加上只面向 Python，它能覆盖的任务面进一步变窄。

在 Phi 系列中的位置

Phi-1 是小语言模型 Phi 系列的第一个成员，之后在 2023 年 9 月被 phi-1.5 接替^[3]。它被集成进 transformers 库的 4.37.0 版本^[2]，因此已经使用这个库的开发者可以直接调用。它留下的主要东西是论文里的那个论点：精心挑选模型读什么、甚至为它生成教材，其重要性可以和把模型做大相提并论。