微软发布 phi-1.5

背景

2023 年 6 月，phi-1 已表明：在教科书质量数据上训练的小模型，可以在代码任务上表现出色。接下来的问题是，同样的方法能否用于自然语言。

发生了什么

2023 年 9 月 11 日，微软研究院人员发布了 phi-1.5 技术报告「Textbooks Are All You Need II」。报告将 phi-1.5 描述为一个 13 亿参数的模型，规模与 phi-1 相同，但目标是自然语言中的常识推理。^[1]

该模型主要用合成的「教科书」数据训练，共训练 1500 亿个词元，使用 32 块 A100 GPU，耗时 8 天。^[2]

关键细节

报告称，phi-1.5 的表现与规模大五倍的自然语言模型相当。^[1]

微软将模型开源，目的是推动对小模型中幻觉、毒性和偏见等问题的进一步研究。^[1]

模型在 Hugging Face 上以 MIT 许可证提供。^[2]

影响

Phi-1.5 表明，教科书式的数据路线并不局限于代码。通过公开发布，微软为其他研究人员提供了一个可以研究幻觉、毒性和偏见问题的小模型。^[1][2]

时代背景

到 2023 年，语言模型需要多少数据、需要什么样的数据，已经是该领域的核心问题。phi-1 表明，精心挑选数据可以得到一个出色的代码模型。接下来一个自然的问题是：同样的方法能否帮助模型处理普通语言，而这正是大多数用户关心的领域。phi-1.5 的报告，就是在小规模上回答这一问题的尝试。^[1]

什么是技术报告

技术报告是研究团队描述模型、训练过程和性能表现的文档，通常不经过期刊的同行评审。它是其中主张的第一手来源，读者应当把其中的结果视为作者自己的测量。本条目引用这份报告，正是出于这一原因。^[1]

公开发布为何重要

公开发布权重，使独立研究人员能够检验这些主张、复现模型行为，并研究作者指出的问题。在这一案例中，作者点名了幻觉、毒性和偏见，希望其他人研究小模型中的这些问题。^[1][2]