Phi-4-reasoning-vision-15B

是什么

Phi-4-reasoning-vision-15B 是一个 150 亿参数的视觉语言模型，由微软于 2026 年 3 月 4 日以开放权重（open-weight）形式发布^[1][2]。它接收文本和图像，输出文本，上下文长度为 16,384 个 token^[1]。开放权重意味着训练好的参数被公开，使用者可以下载、运行并按需改造，而不必只通过某个在线服务调用；此次发布采用 MIT 许可^[1]。

结构

模型由两部分拼成。一部分是 Phi-4-reasoning 语言主干，负责语言与推理；另一部分是 SigLIP-2 视觉编码器（vision encoder），把图像转成语言一侧能读取的表示^[1]。两者以「中融合」（mid-fusion）方式结合：视觉 token 被投影进语言模型，于是图像内容和文字在同一条流里处理，而不是两个模型各算各的、最后再拼起来^[1]。图像按动态分辨率处理，最多产生 3,600 个视觉 token，这样一张密集的图表或一张屏幕截图才能保留足够细节被读懂，而不是被压成一句粗略的概括^[1]。

在每张图像内部，模型使用双向注意力（bidirectional attention）：图像的一部分可以同时关注它两侧的部分，而不只是关注它前面的部分^[1]。这样做是为了改善空间推理，同时避开了把双向注意力扩展到更大范围时出现的过拟合^[1]。

自己决定要不要推理

推理模型通常会花额外算力生成中间步骤，这对难题有帮助，对简单问题则是浪费。这个模型把这一选择交给自己：在数学和科学问题上使用 `<think>` 块，也就是一步步展开过程；在感知任务上使用 `<nothink>` 直接给出答案，例如为图像写描述，或做定位（grounding），即指出某个物体在画面中的位置^[1][2]。用户也可以强制指定其中一种模式，而不必让模型自行判断^[1][2]。

训练

训练方式是监督微调（supervised fine-tuning）：把输入和期望输出成对喂给模型，让它朝这些目标调整，数据是推理与非推理数据的混合^[1]。数据主要来自经过筛选的开源视觉语言数据集，并补充了微软内部团队提供的领域数据和有针对性的数据采集^[1]。训练在 240 张 NVIDIA B200 GPU 上运行了 4 天^[1]。

安全对齐通过进一步的监督微调完成，使用了开源数据和内部合成的数据，其中包含有用性与无害性的示例，教模型拒绝仇恨言论、暴力、自残和色情内容^[1]。

结果

在默认模式下，模型得分为：AI2D 84.8、ChartQA 83.3、MathVista-mini 75.2、MathVerse-mini 44.9、ScreenSpot v2 88.2^[1]。这些基准分别涉及图表理解、以图像形式给出的数学题，以及屏幕元素的定位；分数之间的落差说明，读一张图表和在图形上解一道数学题，对同一个模型来说难度并不相同。

用在哪里

微软给出的目标用途有两类：一是针对图像的科学与数学推理，二是计算机使用类智能体（agent）任务，例如定位界面元素，也就是智能体点击之前必须先找到的按钮、输入框和图标^[1]。两者依赖同一种能力——把一句用文字提出的问题对应到画面中的某块区域；而在感知任务上跳过逐步推理，则让这类调用的开销保持较低。凭借开放权重和 MIT 许可，这个模型面向的是希望自行检查、微调并运行一个中等规模视觉语言模型的团队。