Phi-3.5

Phi-3.5 是什么

Phi-3.5 是微软 Phi 系列小模型在 2024 年 8 月发布的一次更新。它不是单个模型，而是一组三个：Phi-3.5-mini、Phi-3.5-MoE 和 Phi-3.5-vision，相关说明被补充进已有的 Phi-3 技术报告，而不是另出一篇论文。^[1][2][3]

三个模型面向不同的需要。Phi-3.5-mini 是通用的小号成员，38 亿参数，上下文窗口 128K。Phi-3.5-vision 从 Phi-3.5-mini 派生而来，42 亿参数，能处理只含一张图或含多张图的提示。^[1][3] Phi-3.5-MoE 是三个里最大也最特别的一个：它是微软 Phi 系列中第一个混合专家（mixture-of-experts, MoE）模型，由 16 个各含 38 亿参数的专家组成，总参数 420 亿，每个 token 激活其中 2 个专家、共 66 亿参数。^[1][2]

混合专家是怎么运作的

混合专家模型把一个前馈模块换成若干个并行的「专家」，再加一个路由器，由路由器逐 token 决定交给哪几个专家处理。只有被选中的专家参与计算，所以每个 token 的运算量和一个小得多的稠密模型相当，而模型存储的参数总量、以及这些参数能容纳的知识，却要大得多。Phi-3.5-MoE 就是这个路数：16 个专家里每次激活 2 个，存着 420 亿参数，每个 token 只用 66 亿。^[2] 打个比方，一家公司有 16 个部门，每份文件只转给最对口的两个部门处理，人手总量很大，但每份文件实际经手的人不多。这样做的意义在于：想要更大的容量，不必按同样的比例付出稠密模型那样的算力。

训练与语言

Phi-3.5-MoE 的模型卡给出了相当具体的训练信息：训练用了 4.9 万亿 token，其中约 10% 是多语数据，在 512 块 H100-80G 上训练 23 天，时间跨度为 2024 年 4 月到 8 月。模型上下文窗口 128K，词表大小 32,064，支持 23 种语言，其中包括阿拉伯语、中文、日语、俄语和西班牙语。^[2]

成绩

公布的 Phi-3.5-MoE 成绩是：MMLU（5-shot）78.9，GSM8K 88.7，MATH 59.5，HumanEval 70.7。^[2] 技术报告称，它在推理、数学和代码上胜过 Llama 3.1、Mixtral 等同等规模的开源模型，与 Gemini 1.5 Flash 和 GPT-4o-mini 相当。^[1] 这些是作者自己做的同量级对比，说明的是它与同时代模型之间的相对位置，而不是一个通用的排行榜名次。

微调、提示格式与获取方式

按模型卡的说法，Phi-3.5-MoE 经过监督微调、近端策略优化（proximal policy optimisation, PPO）和直接偏好优化（direct preference optimisation, DPO）的强化，以提升指令遵循能力和安全性。^[2] 它最适合使用带有系统、用户、助手三种角色的对话格式提示。^[2] 指令版从 transformers 4.46.0 版本起被集成进去，也在 Azure AI Studio 中提供。^[2] 三个 Phi-3.5 模型都以 MIT 许可证发布，允许商用与非商用再使用。^[2][3]

在 Phi 系列中的位置

Phi-3.5 是 Phi-3 的后继，它自己又在 2024 年 12 月被 Phi-4 接替，两代之间相隔约几个月。^[1] 对读者来说，它的价值主要在于架构和工程层面：一个小模型家族，既有两个紧凑的稠密模型（其中一个能读图），也有一个激活参数只占总参数一小部分的混合专家模型，而且发布得足够开放，可以实际运行和查看。^[1][2][3]