OPT-175B（开放预训练 Transformer）

是什么

OPT（Open Pre-trained Transformer，开放预训练 Transformer）是 Meta AI 推出的一组语言模型。每个模型都是仅解码器（decoder-only）结构的 Transformer。Transformer 是现代大语言模型大多采用的神经网络设计，这类模型的训练目标是根据前文预测下一个词元（token）。参数是模型在训练中不断调整的数值，OPT-175B 的名字就表示它有 1750 亿个参数。这组模型的参数规模从 1.25 亿到 1750 亿不等，其中最大的一个就是 OPT-175B。^[1][2]

由来

Meta AI 于 2022 年 5 月 3 日宣布这组模型。配套论文《OPT: Open Pre-trained Transformer Language Models》于 2022 年 5 月 2 日发布在 arXiv 上，共有 19 位作者，第一作者是 Susan Zhang。^[1][2] Meta 公告的英文标题为 Democratizing access to large-scale language models with OPT-175B，意为让大规模语言模型更容易被获取，点明了这次发布的目的：让更多研究者能接触到这一规模的模型。^[1]

在 Meta 自己的发布序列中，OPT 是首个以开放方式分享、规模达到 GPT-3 级别的大语言模型。此后，Meta 于 2022 年 11 月推出了面向科学领域的 Galactica，2023 年 2 月推出了 LLaMA。^[1][3]

主要特点

模型规格。 1.25 亿、3.5 亿、13 亿、27 亿、67 亿、130 亿和 300 亿参数的模型在发布时已完整开放。660 亿参数的版本当时只宣布即将推出。^[1]

谁能获取 OPT-175B。 获取 OPT-175B 需要填写申请表。面向的对象包括全球的学术研究人员、政府、民间社会和学术机构，以及工业界的研究实验室。^[1]

许可证。 所有预训练模型都适用《OPT-175B License Agreement》，这是一份以研究用途为主的非商业许可证。^[1]

训练方法。 训练结合了完全分片数据并行（Fully Sharded Data Parallel）与 NVIDIA Megatron-LM 的张量并行。在 80GB 的 A100 显卡上，每块 GPU 的速度约为 147 TFLOP/s。公开的代码库可以在 16 块 NVIDIA V100 显卡上完成训练和部署。^[1]

训练数据。 模型使用公开可获得的数据集进行训练。^[1]

算力与透明度。 论文称，OPT-175B 与 GPT-3 相当，而研发所需的碳足迹只有其七分之一。^[2] Meta 还公开了研发笔记和逐日的训练日志，记录了所用的算力，以及训练出现不稳定时所需的人工投入。^[1][2]

在发展中的位置

OPT 展示了一种向研究者发布超大模型的方式：同时提供权重、运行代码，以及训练过程的记录。其中训练日志最为特别，它让外界看到大型训练任务所需的算力和排查过程，具体而可核对。^[1][2]

它之后的几个模型显示了这一做法的演变。2022 年 11 月的 Galactica 面向科学内容，2023 年 2 月的 LLaMA 则成为当时最广为人知的开放模型系列之一。^[1][3] 把 OPT、Galactica 和 LLaMA 放在一起看，Meta 的路线从一个通用的、GPT-3 级别的开放模型，转向更专门的科学模型，再发展为更广泛的开放模型系列。^[1][3]