微软发布 Phi-3-mini

背景

Phi-3 延续了微软的 Phi 系列，推出的是一组小型语言模型，设计目标是足够小，可以在本地运行。^[1][2]

发生了什么

2024 年 4 月 23 日，微软推出 Phi-3 系列，并首先发布 Phi-3-mini。^[1]Phi-3-mini 拥有 38 亿参数（3.8 billion），有 4K 和 128K 两种上下文长度版本，上下文长度决定了模型一次能够处理多少文本。^[1]当天，它在 Azure AI Studio、Hugging Face 和 Ollama 上发布。^[1]

微软表示，Phi-3-small（7B）和 Phi-3-medium（14B）将随后推出。2024 年 5 月 21 日的 Build 大会上，它们与 42 亿参数的 Phi-3-vision 一起在 Azure 上可用。^[1][3]

关键细节

发布在 arXiv 上的技术报告称，Phi-3-mini 在 MMLU（一项多学科知识与推理测试）中得分 69%。报告称这一成绩可与 Mixtral 8x7B 和 GPT-3.5 相当，并且该模型可以在手机上本地运行。^[2]

Phi-3-mini 使用 3.3 万亿个词元（token）训练，数据主要是经过严格过滤的网络数据和合成数据。词元是文本的切分单位，通常是一个词的一部分。量化到 4 比特后，它大约占用 1.8 GB 内存。^[2]量化是指以较低精度存储模型的数值，这会缩小内存占用，但会在一定程度上影响准确性。

影响

Phi-3 表明，小模型可以通过主要云平台、开源模型托管平台 Hugging Face，以及 Ollama 这类本地运行工具提供给开发者。这一系列因此成为一个参照：紧凑的模型也能在日常硬件上完成较复杂的任务。^[1][2]