EleutherAI 发布 GPT-NeoX-20B

背景

训练一个200亿参数的模型需要大量算力。此次训练的 GPU 由云服务商 CoreWeave 提供。^[1]

发生了什么

EleutherAI 于2022年2月2日宣布 GPT-NeoX-20B，权重于2月9日发布。该模型拥有200亿参数。^[1]

团队表示，据其所知，这是可公开获取的、最大的通用预训练自回归模型。^[1]

关键细节

训练使用 CoreWeave 的 GPU，前后花了大约一年的工作。工作还因与芯片短缺相关的运输延误而放慢。^[1]

权重采用 Apache 2.0 许可证发布，模型同时通过托管服务 GooseAI 提供。^[1]

EleutherAI 提醒说，这个模型是一件研究制品，在没有仔细考虑的情况下，不建议用于生产环境。^[1]

影响

此次发布让研究者和开发者可以研究并自行运行一个大型开放模型，而不必只能通过 API 使用。团队对生产使用的提醒也成为记录的一部分：一个这一规模的开放模型，是作为研究工具提供的，其局限被明确说明。^[1]

什么是研究制品

研究制品是为了让他人研究、测试行为并在其上继续工作而发布的模型。它不是成品，输出可能有误、存在偏差，或不适合特定用途。EleutherAI 的提醒说明，公开权重本身并不能让模型达到可用于生产的状态。^[1]

获取方式

开放发布让人们可以下载权重并在自己的硬件上运行模型；托管服务则让人们通过接口使用模型，无需自行管理。这一模型两种方式都可以使用。^[1]