Phi-1.5

是什么

Phi-1.5 是微软研究院（Microsoft Research）的 13 亿参数语言模型，技术报告题为《Textbooks Are All You Need II: phi-1.5 technical report》（arXiv:2309.05463），2023 年 9 月 11 日提交^[1]。作者是 Yuanzhi Li、Sébastien Bubeck、Ronen Eldan、Allie Del Giorno、Suriya Gunasekar 和 Yin Tat Lee^[1]。13 亿参数属于较小的量级，而报告的核心论点正是：这样的规模也能在通用语言任务上拿出像样的表现。

思路从哪来

Phi-1.5 延续的思路最早用在代码上。前作 phi-1 的训练文本经过筛选和生成，尽量接近教科书的样子；phi-1.5 把这种「教科书数据」的做法从代码搬到自然语言的常识推理上^[1]。背后的判断关乎数据质量：经过精心撰写和生成的合成文本，每个词元（token）携带的有效信息可能更多，因此小模型可以用更少、但更好的文本训练。

怎么训练的

训练集是一个 300 亿词元的数据集，由 phi-1 用过的数据源加上新生成的合成自然语言文本构成，通用网页抓取来源（如 Common Crawl）被排除在外^[2]。训练过程中模型一共看过 1500 亿词元^[2]。整个训练在 32 块 A100-40G 上跑了 8 天，使用 PyTorch、DeepSpeed 和 Flash-Attention^[2]。

排除网页抓取数据是这套配方里最有特点的一步：模型关于世界的知识来自经过挑选和生成的文本，而不是对整个互联网的宽泛抓取^[2]。

报告给出的结果

报告称其自然语言表现可与体积大 5 倍的模型相比^[1]。模型卡则说，在常识、语言理解和逻辑推理的基准上，它在 100 亿参数以下的模型中接近当时的最好水平^[2]。作者还说，模型表现出通常只有更大的模型才有的特征，例如分步推理^[1]。

这件事的意义不只是一组基准分数，而是关于能力来源的问题：多少来自规模，多少来自模型读到的文本。如果一个 13 亿参数、用经过挑选的合成文本训练出来的模型能达到大 5 倍模型的水平，那么数据设计本身就成了一种可以部分替代参数量的手段^[1]。

局限与设计取舍

作者同时指出，模型会编造内容（幻觉），也可能输出有毒或带偏见的内容，并称缺少网页数据让这类问题有所减轻^[1]。Phi-1.5 没有针对指令遵循做微调，也没有使用基于人类反馈的强化学习（RLHF）；按模型卡的说法，这是有意为之，为的是给研究者一个不受约束的小模型去做安全性研究^[2]。它是基座模型而非常规助手，会顺着提示续写文本，而不是被优化成回答问题的工具。

发布与在系列中的位置

Phi-1.5 公开释放在 Hugging Face 上，后来以 MIT 许可证发布^[1][2]。它被整合进 transformers 库 4.37.0 版本，模型卡列举的用途包括写诗、写邮件、写故事、摘要和 Python 代码^[2]。它上承 phi-1，下接 2023 年 12 月推出的 phi-2^[1]。