微软发布 Phi-2

背景

Phi 系列是微软推出的一组小型语言模型，参数量远少于最大的系统。Phi-2 是这一系列中以这种形式公开发布的模型之一，它脱胎于 phi-1.5（13 亿参数）的工作，微软把 phi-1.5 中的知识带入了更大的 Phi-2。^[1]

发生了什么

2023 年 12 月 12 日，微软研究院宣布推出 Phi-2，这是一个 27 亿参数的语言模型。^[1]微软表示，Phi-2 匹敌或超过了大 25 倍的模型，并把它定位为供研究者研究小模型行为的实验场。^[1]微软还将它提供在 Azure AI Studio 模型目录中，开发者可以通过微软的云服务使用。^[1]

关键细节

Phi-2 使用 1.4 万亿个词元的合成数据和经过筛选的网络数据进行训练，在 96 块 A100 GPU 上训练了 14 天。^[2]词元（token）是文本的切分单位，通常是一个词的一部分。GPU 则是承担模型训练中大部分运算的芯片。

微软报告称，Phi-2 在多项综合基准测试上超过了 Mistral 7B 和 Llama 2 13B。综合基准测试会把多项测试的成绩合并为一个比较结果。^[1]Hugging Face 的发布版本采用 MIT 许可证，允许他人使用、修改和再分发该模型。^[2]

影响

Phi-2 表明，一个 27 亿参数的模型可以作为严肃的比较对象，与规模大数倍的模型对照。它同时在 Azure 和 Hugging Face 公开发布，供人们直接测试。^[1][2]

相关术语

Azure AI Studio 是微软的云端 AI 应用开发平台，其模型目录可以让开发者在一处选择并部署模型。Hugging Face 是研究者和开发者发布模型权重、代码与文档的在线平台。平台上每个模型的页面称为模型卡，用来说明模型的用途、训练方式和评估结果。MIT 许可证是一种简短的宽松开源许可证，只要保留许可证文本与版权声明，任何人都可以使用、修改和分享该软件。