Phi-4

是什么

Phi-4 是微软于 2024 年 12 月 12 日发布的 140 亿参数稠密解码器式 Transformer（dense decoder-only Transformer），技术细节写在《Phi-4 Technical Report》中^[1][2]。「稠密」指生成每一个词元（token）时全部参数都参与计算，不同于只调用网络一部分的混合专家模型；「解码器式」指它由自注意力（self-attention）与前馈网络层层堆叠而成，逐个词元产出文本。它支持最长 16K 词元的上下文^[2]。140 亿参数属于中小规模，这类模型可以跑在相对普通的硬件上，而不必依赖大规模集群。

由来

Phi-4 是微软 Phi 系列小模型中的一员，是 Phi-3.5 的后继者^[1]。它的训练配方把重心放在数据质量上：从预训练、中期训练到后训练，全程使用合成数据，这些合成数据以筛选过的网页内容、获得授权的书籍和代码为种子生成^[1]。换句话说，训练素材是从一批精挑细选的来源出发生成出来的，并且每个训练阶段都会用到，而不是只在最后一步才加入。

训练规模

训练共使用 9.8 万亿词元，在 1920 块 H100-80G 显卡上运行 21 天，时间为 2024 年 10 月至 11 月；公开数据截止到 2024 年 6 月^[2]。模型的上下文长度为 16K 词元^[2]。

评测结果

技术报告称，Phi-4 在 GPQA 和 MATH 两项基准上明显超过它的教师模型 GPT-4o^[1]。GPQA 考的是研究生水平的理科问题，MATH 考的是竞赛风格的数学题，两者考察的都是多步推理，而不是记忆。模型卡给出的成绩是：MMLU 84.8、GPQA 56.1、MATH 80.4、HumanEval 82.6、MGSM 80.6；SimpleQA 只有 3.0，模型卡把这一点归因于它的具体事实知识有限^[2]。

基准分数只有在测试题没有在训练中出现过时才可信，所以团队还专门检查了数据污染。Phi-4 在 2024 年 11 月的 AMC-10 和 AMC-12 竞赛题上做了评测，这两场竞赛是在它的训练数据收集完成之后才举行的；据 The Decoder 报道，它在这套题上得到 91.8 分^[1][3]。

发布与位置

Phi-4 最初在 Azure AI Foundry 上提供；2025 年 1 月 8 日，微软在 Hugging Face 上以 MIT 许可证放出完整权重^[2][3]。以宽松许可证公开权重，意味着外部开发者可以自己下载运行这个模型，而不只是通过托管服务调用。微软把它定位在内存与算力受限的环境、对延迟敏感的场景，以及推理和逻辑类任务上，主要面向英文^[2]。

它也是后续模型的基础：Phi-4-reasoning（2025 年 4 月）和 Phi-4-reasoning-vision-15B（2026 年 3 月）都建立在它之上^[1]。

局限

模型卡提醒，Phi-4 主要用英文文本训练，不面向多语言使用，在其他语言上表现更差^[2]。它还指出，训练数据大部分是 Python 代码，所以涉及其他软件包或语言的脚本需要人工核验^[2]。SimpleQA 上的低分也是同一方向的提示：当任务依赖回忆具体事实时，输出需要核对，而不能直接采信^[2]。