微软发布 Phi-4-mini 与 Phi-4-multimodal

背景

Phi-4-mini 与 Phi-4-multimodal 被微软宣布为 Phi 系列中最新的小型语言模型。^[1][2]

发生了什么

2025 年 2 月 26 日，微软宣布 Phi-4-mini 和 Phi-4-multimodal 为 Phi 系列中最新的小型语言模型。^[1][2]Phi-4-mini 是一个拥有 38 亿参数（3.8 billion）的文本模型。Phi-4-multimodal 拥有 56 亿参数（5.6 billion），可以处理文本、视觉和语音。^[2]两者都在 Hugging Face 上以 MIT 许可证发布。^[2]

两个模型当天即在 Azure AI Foundry 和 GitHub Models 上可用。^[1][3]

关键细节

Phi-4-mini 支持 128K 词元的上下文，以及 200K 词元的词表。上下文长度决定了模型一次能处理多少文本，词表更大则意味着同样的内容可以用更少的词元表示。^[4]

Phi-4-mini 使用 5 万亿个词元训练。它在 MMLU（一项多学科知识与推理测试）中得分 67.3，在 GSM8K（小学水平的数学应用题）中得分 88.6。^[4]

影响

这次发布为开发者提供了同一许可证下的两个小模型：一个纯文本模型，以及一个还能处理图像和语音的模型。两者当天即在 Azure AI Foundry 和 GitHub Models 上可用，此外还可从 Hugging Face 获取。^[1][2][3][4]

相关术语

词元是文本的切分单位，词表是模型使用的全部词元清单，词表越大，同样的内容可以用越少的词元表示。多模态模型可以接收多种类型的输入，这里指文本、图像以及语音或音频。Azure AI Foundry 是微软用于构建和运行 AI 模型的平台，GitHub Models 则是 GitHub 提供的模型试用服务。Hugging Face 是发布本次权重的在线平台。