微软发布 Phi-3.5 系列（mini、MoE、vision）

背景

Phi-3.5 是微软小型语言模型 Phi 系列的一次更新。这次发布新增了三个模型，并被补充进 Phi-3 技术报告。^[1][3]

发生了什么

2024 年 8 月，微软发布了 Phi-3.5 的三个模型：Phi-3.5-mini-instruct、Phi-3.5-MoE-instruct 和 Phi-3.5-vision-instruct。^[1][2]其中 instruct 后缀表示该版本经过了指令微调，能够按指令回答问题。三个模型都支持 128K 词元的上下文，并以 MIT 许可证发布。^[1][2]

关键细节

Phi-3.5-MoE 整合了 16 个专家，总参数为 420 亿，每个词元激活 66 亿参数。^[2]混合专家（MoE）模型会把每个词元分配给少数几个专门化的子网络，因此对任一词元而言，模型只有一部分在运行。

Phi-3.5-MoE 使用 4.9 万亿个词元训练，在 512 块 H100 GPU 上历时 23 天。^[2]微软还将该模型与 Gemini 1.5 Flash 和 GPT-4o-mini 进行了比较。^[3]

Phi-3.5-vision 拥有 42 亿参数，可以理解单张图片，也能理解一次提问中的多张图片。^[3]

影响

这次发布一次性为开发者提供了三种新选择：一个借助专家机制让每个词元的计算量保持较低的较大模型、一个小型文本模型，以及一个能同时读取多张图片的视觉模型。三者都采用 MIT 许可证和 128K 上下文。^[1][2][3]