微软发布 Phi-4

背景

Phi-4 属于微软的 Phi 系列小型语言模型，发布时的重点是复杂推理。^[1][2]

发生了什么

2024 年 12 月 12 日，微软发布 Phi-4，这是一个 140 亿参数（14 billion）的小型语言模型，专注于数学等复杂推理。^[1][2]该模型最初在 Azure AI Foundry 上提供。2025 年 1 月 8 日，微软在 Hugging Face 上以 MIT 许可证发布了权重。^[3]

关键细节

技术报告把 Phi-4 在 GPQA 和 MATH 上超过 GPT-4o 的成绩，归因于合成数据和细致的数据筛选。^[2]模型使用 9.8 万亿个词元（token）训练，在 1920 块 H100 GPU 上历时 21 天。^[1]模型卡显示，它在 MMLU 中得分 84.8，在 MATH 中得分 80.4。^[1]它的上下文为 16K 词元，是稠密的仅解码器 Transformer，即每个词元都会用到全部参数。^[1]

GPQA 是一组研究生水平的科学题，MATH 是竞赛风格的数学题。因此，与 GPT-4o 的对比，发生在报告称 Phi-4 领先的两项测试上。^[2]

影响

Phi-4 表明，一个 140 亿参数的模型可以作为专注推理的开放模型提供，其权重随后也公开供人下载。

相关术语

稠密模型在处理每个词元时都会用到全部参数，与之相对的混合专家模型只激活网络的一部分。GPQA 是一组难度很高的研究生水平科学题，MATH 是竞赛风格的数学题集，MMLU 则涵盖多个学校和专业学科。Azure AI Foundry 是微软用于构建和运行 AI 应用与模型的平台。开放权重是指公开训练后的参数，任何人都可以在许可证条款下下载，并在自己的硬件上运行。