TellWorldAI 世界档案
问档案English
动态
模型
机构
人物
论文与概念
产品与智能体
芯片与机器人
编年史
专题
问档案English

首页›模型

模型

Phi-3

Phi-3 是微软的小型语言模型系列，2024 年 4 月以 38 亿参数的 Phi-3-mini 起步，这一模型小到可以在手机上运行。

状态 可用模态 文本、图像开放权重 是上下文（千 token） 128 时代 生成式 AI 普及

参数量
14B
许可
MIT
访问方式
API、下载
发布日期
开发方
微软（Microsoft）

是什么

Phi-3 是微软推出的一组小型语言模型。技术报告于 2024 年 4 月 22 日发布，首个模型 Phi-3-mini 于 2024 年 4 月 23 日上线。[1][2][5]Phi-3-mini 拥有 38 亿参数（3.8 billion）。这个系列后来扩展出 Phi-3-small、Phi-3-medium 和 Phi-3-vision。这些模型都是稠密的仅解码器 Transformer（dense decoder-only Transformer），这是生成文本时常见的架构。[1][4]

Phi 系列的定位是足够小，可以在本地运行。技术报告的标题就描述了一个能在手机上运行的高能力语言模型。Phi-3-mini 在量化到 4 比特时大约占用 1.8 GB 内存。[1]

由来

Phi-3 是 Phi-2 的继任者。微软把 Phi-2 的数据思路加以扩展，用于训练 Phi-3-mini，训练数据为 3.3 万亿个词元（token），主要来自经过严格过滤的公开网络数据和合成数据。[1]词元是文本的切分单位，通常是一个词的一部分。Phi-3-small（7B）和 Phi-3-medium（14B）则使用了 4.8 万亿个词元进行训练。[1]

Phi-3 模型经过监督微调（supervised fine-tuning）和直接偏好优化（direct preference optimisation）对齐。这两种训练后方法分别让模型学会遵循指令，并更倾向于给出人们评价较高的回答。[4]

主要特点

Phi-3-mini 提供 4K 和 128K 两种上下文长度版本。微软称，它是同级别中首个支持最多 128K 个词元的模型，这意味着它可以一次处理很长的文档或很长的对话。[2]

在基准测试上，Phi-3-mini 在 MMLU（一项涵盖多学科知识与推理的测试）中得分 69%，在 MT-bench（评估多轮对话质量的测试）中得分 8.38。技术报告称，这些成绩与 Mixtral 8x7B 和 GPT-3.5 相当。[1]Phi-3-small 的 MMLU 得分为 75%，Phi-3-medium 为 78%。[1]

微软表示，在其基准测试上，Phi-3-small 超过了 GPT-3.5 Turbo，Phi-3-medium 超过了 Gemini 1.0 Pro。公司也指出，这些模型在 TriviaQA 等事实知识测试中表现较弱。[2][3]

Phi-3 以 MIT 许可证、开放权重的形式，在 Azure AI Studio、Hugging Face 和 Ollama 上发布。[2][4]

2024 年 5 月 21 日，微软在 Build 大会上新增了 Phi-3-vision，这是一个 42 亿参数的多模态模型，既能处理文本也能处理图像。同时，Phi-3-small（8K 和 128K 上下文）与 Phi-3-medium（4K 和 128K 上下文）在 Azure 上可用。[3]

2024 年 6 月对 Phi-3-mini 的更新，把它的 JSON 输出得分从 1.9 提高到 60.1，把 RULER 长上下文平均分从 68.8 提高到 84.6。[4]

在系列中的位置

Phi-3 位于早期的 Phi-2 和 2024 年 8 月发布的 Phi-3.5 更新之间。[1]它确立了一种模式：先推出小型文本模型，再推出更大的成员和多模态变体，它们都沿用同一种开放许可证。这个系列体现了微软如何推动小模型处理更长的上下文，并在日常硬件上运行。[1][2]

能力大语言模型多模态

应用领域消费级应用

生态与地区开源

版本时间线

7
  1. 2023
    • 2023 年 6 月 20 日 Phi-1

      Phi-1 是微软研究院发布的一个 13 亿参数的 Transformer 语言模型，专攻 Python 代码；它用经过筛选的「教科书质量」数据和合成数据说明，数据质量可以在一定程度上替代模型与数据规模。

    • 2023 年 9 月 11 日 Phi-1.5

      Phi-1.5 是微软研究院的 13 亿参数语言模型，用经过挑选和生成的「教科书式」文本训练，不用网页抓取数据；报告称其自然语言表现可与体积大 5 倍的模型相比。

    • 2023 年 12 月 12 日 Phi-2

      Phi-2 是微软研究院 2023 年 12 月 12 日公布的 27 亿参数基座语言模型，微软称它在复杂基准上匹配或超过最多 25 倍大的模型，成为小模型路线的一个参照点。

  2. 2024
    • 2024 年 4 月 23 日 Phi-3 · 本页

      Phi-3 是微软的小型语言模型系列，2024 年 4 月以 38 亿参数的 Phi-3-mini 起步，这一模型小到可以在手机上运行。

    • 2024 年 8 月 Phi-3.5

      Phi-3.5 是微软 Phi 系列小模型在 2024 年 8 月的一次更新，一次发布 mini、vision 和该系列首个混合专家模型三个版本，均以 MIT 许可证开放。

    • 2024 年 12 月 12 日 Phi-4

      Phi-4 是微软于 2024 年 12 月发布的 140 亿参数稠密解码器式语言模型，训练重心放在数据质量与合成数据上，2025 年 1 月以 MIT 许可证放出完整权重。

  3. 2025
    • 2025 年 2 月 26 日 Phi-4-mini 与 Phi-4-multimodal

      Phi-4-mini 是 38 亿参数的文本模型，Phi-4-multimodal 是 56 亿参数、可同时处理文字、图像与语音的模型，二者于 2025 年 2 月作为 Phi-4 家族的小尺寸成员发布。

20241

  1. 发布微软发布 Phi-3-mini

    2024 年 4 月 23 日，微软推出 Phi-3 小型语言模型系列，首先发布 Phi-3-mini，并同时在 Azure AI Studio、Hugging Face 和 Ollama 上提供。

开发方1

微软（Microsoft）

前代1

Phi-2

后继1

Phi-3.5

采用1

Transformer 架构

注释与来源

  1. Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phonehttps://arxiv.org/abs/2404.14219
  2. Introducing Phi-3: Redefining what's possible with SLMshttps://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/
  3. New models added to the Phi-3 family, available on Microsoft Azurehttps://azure.microsoft.com/en-us/blog/new-models-added-to-the-phi-3-family-available-on-microsoft-azure/
  4. microsoft/Phi-3-mini-128k-instruct model cardhttps://huggingface.co/microsoft/Phi-3-mini-128k-instruct
  5. Phi (language model)https://en.wikipedia.org/wiki/Phi_(language_model)

引用本页: Phi-3. TellWorld, https://www.tellworld.net/zh/models/phi-3. 更新于 2026-11-08