Phi-4-mini 与 Phi-4-multimodal

发布了什么

2025 年 2 月 26 日，Phi-4 家族新增两个小尺寸模型：文本模型 Phi-4-mini（38 亿参数）和多模态模型 Phi-4-multimodal（56 亿参数）。^[1][3] 多模态版本是在 Phi-4-mini 的基础上扩展而来，让同一个模型同时处理文字、图像和语音、音频，而不是把这些能力拆到几个不同系统里。^[1][3]

在家族的小尺寸档位上，Phi-4-mini 接替的是 Phi-3.5-mini。^[2]

结构与训练

Phi-4-mini 是稠密（dense）的纯解码器（decoder-only）Transformer。与 Phi-3.5-mini 相比，它增加了 200,064 个 token 的词表——也就是模型卡里说的「200K 词表」——并引入分组查询注意力（grouped-query attention）和输入输出共享的词嵌入（embedding）。^[2] 分组查询注意力的做法是让多组查询头共用一套键和值的投影，从而在序列很长时减少注意力部分的内存与计算开销。词表扩大则与语言覆盖直接相关：该模型支持 23 种语言。^[2]

上下文长度为 128K token。^[2] 训练使用了 5 万亿 token，在 512 块 A100-80G 显卡上于 2024 年 11 月至 12 月间进行 21 天，公开数据的截止时间为 2024 年 6 月。^[2]

预训练之后，模型又通过监督微调（supervised fine-tuning）和直接偏好优化（direct preference optimisation）做了增强，目的是提升指令遵循和安全性。^[2] 直接偏好优化是一种后训练方法，用人类更偏好的回答去调整模型，让它的输出向这些偏好靠拢。发布说明把这次的变化归为三点：为效率设计的新结构、为多语言支持扩大的词表，以及改进后的后训练。^[2]

基准成绩

按模型卡公布的数字，Phi-4-mini 在 MMLU 上得 67.3，在 GSM8K 上得 88.6，在 MATH 上得 64.0；同一份材料里，GPT-4o-mini 的 MMLU 成绩是 77.2。^[2] MMLU 是一套覆盖多学科的知识型选择题测试，GSM8K 是小学程度的数学应用题集，MATH 则是更难的竞赛风格题目集。从这几项看，这是一个刻意做小的模型：在覆盖面广的知识测试上落后于更大的对手，而在数学题集上分数较高。

模型卡写明的适用场景包括：内存和算力受限的环境、对延迟敏感的场景，以及需要较强推理能力、尤其是数学和逻辑推理的任务。^[2]

获取方式

两个模型都以 MIT 许可证在 Hugging Face 上发布，同时通过 Azure AI Foundry、NVIDIA API Catalog 和 GitHub Models 提供。^[3][4] MIT 许可证对复用和修改限制很少，这对一个面向「自己动手在有限硬件上跑模型」的开发者的产品来说是有意义的。

在家族中的位置

Phi-4-mini 与 Phi-4-multimodal 处在以 Phi-4 命名的一族模型的最小一端。它的技术选择指向同一个方向：紧凑的稠密结构、长上下文、面向多语言的大词表、更重的后训练，并在其上再叠一个多模态变体。对开发者来说，这两个模型一次覆盖了两类常见需求：一是在内存和延迟都很紧的情况下做纯文本推理，二是用单个模型接收图像或语音输入，而不必在流程里再拼进别的组件。^[1][2][3]