Meta 向研究者开放 OPT-175B

背景

大语言模型（large language model，LLM）通过海量文本训练而成。这类模型大多由少数资源充足的机构开发，权重通常不对外公开。Meta AI 的团队希望让研究者也能接触到这种规模的模型。^[1]

发生了什么

2022 年 5 月 3 日，Meta AI 宣布推出 OPT-175B，这是一个拥有 1,750 亿参数的语言模型，训练数据来自公开可获得的数据集。Meta 表示，这是同等规模的模型首次同时发布预训练权重，以及训练和使用它们所需的代码。^[1]

介绍该模型的论文第一作者是 Susan Zhang，论文于 2022 年 5 月 2 日发布在 arXiv 上。^[2]

关键细节

参数从 1.25 亿到 300 亿的较小模型被完整公开。OPT-175B 则根据申请向学术、政府、民间社会和产业研究实验室开放。^[1]

所有模型都采用以研究用途为主的非商业许可证。^[1]

论文称，OPT-175B 与 GPT-3 相当，而碳足迹只有后者的七分之一。^[2]

Meta 还公开了团队的日常训练日志。日志记录了训练过程中发生的事情，便于研究者了解这类模型是如何被构建出来的。^[1]

模型规模通常以参数数量衡量，参数是网络在训练中学到的数值。训练一个 1,750 亿参数的模型需要大量算力，因此公开权重可以让无力从头训练的团队也能研究它。^[1]

影响

OPT-175B 让大公司之外的研究者接触到了 GPT-3 级别的模型，并能研究它的行为。它的非商业许可证限制了使用方式，而公开的训练日志则让训练过程更便于外界审视。^[1][2]