Phi-2

是什么

Phi-2 是微软研究院（Microsoft Research）于 2023 年 12 月 12 日公布的语言模型，参数量为 27 亿，发布形式是 Mojan Javaheripi 与 Sébastien Bubeck 撰写的博客文章^[1]。参数是神经网络内部可学习的数值，27 亿在同期模型中属于很小的尺寸，小到可以在普通硬件上运行和微调。它属于基座模型（base model）：没有经过基于人类反馈的强化学习（RLHF）对齐，而对齐正是把原始文本预测器变成聊天助手的那一步，所以 Phi-2 开箱后做的是续写文本，而不是听从指令^[1]。

由来

Phi-2 属于微软一条刻意做小的模型路线，其核心想法不是在数据量上堆规模，而是在数据选择上花力气。微软称，更早的 13 亿参数模型 Phi-1 在 HumanEval 和 MBPP 两个基准上，达到了小语言模型中最好的 Python 编码表现^[1]。Phi-2 走的是放大路线：把 13 亿参数的 Phi-1.5 的知识嵌入到更大的 27 亿参数模型里^[1]。微软称 Satya Nadella 在 Microsoft Ignite 2023 大会上发布了 Phi-2^[1]。

怎么训练的

训练数据由两类混合而成：一类是为常识和通用知识准备的合成数据集（synthetic dataset），另一类是经过教育价值过滤的网页数据^[1][2]。训练语料为 2500 亿个 token，而模型在训练过程中一共处理了 1.4 万亿个 token，比语料本身的规模更大^[1][2]。训练在 96 块 A100-80G 显卡上跑了 14 天，上下文长度为 2048 个 token^[2]。

这套配方最值得注意的地方，是它对数据的选择而不是对数据量的追求：用经过筛选和生成的数据，替代大规模抓取的原始网页文本。它要检验的假设是，数据的质量可以在一定程度上替代大模型用算力换来的那部分规模。

结果

微软称，Phi-2 在复杂基准上匹配或超过了最多比它大 25 倍的模型，并称它是 130 亿参数以下最好的基座模型^[1]。在聚合基准上，微软报告它超过了 Mistral 7B 以及 Llama 2 的 7B 和 13B 版本^[1]。由于它没有做对齐，它在开放对话中的行为与它的基准成绩是两回事：微软表示，它在毒性和偏见方面的表现仍好于同类的、经过对齐的开源模型^[1]。

发布与定位

Phi-2 通过 Azure AI Studio 的模型目录和 Hugging Face 发布，其 Hugging Face 模型卡标注的许可证为 MIT^[1][2]。微软把 Phi-2 定位成研究者的「试验场」，适合做机制可解释性（mechanistic interpretability）、安全改进和微调实验^[1]。换句话说，它被推荐给研究者，是因为它小、许可宽松、容易拆开来看，实验成本低，而不是因为它可以直接作为助手部署。

在这条路线上的位置

这条配方并没有停在 27 亿参数上：它的训练数据被进一步扩大，用来构建 2024 年 4 月发布的 phi-3-mini^[3]。因此 Phi-2 在 Phi 系列中是一个转折点：先在编码任务上试过的小模型方法，到这里被证明可以推广到通用的语言基准上，并让微软之外的人开始认真对待小模型这条路线。