OpenAI 发布 GPT-4

背景

GPT-4 属于 OpenAI 的 GPT 系列模型。包括它在内的大多数现代语言模型，都基于 Transformer 架构。Transformer 是一种神经网络结构，通过注意力机制（attention）让模型在处理文字时，关注上下文中与当前内容相关的部分。OpenAI 称 GPT-4 是其扩大深度学习（deep learning）规模这一努力的最新里程碑，即训练规模更大、使用数据和计算量更多的模型。^[1]

发生了什么

2023 年 3 月 14 日，OpenAI 宣布推出 GPT-4。^[1] GPT-4 技术报告于次日，即 3 月 15 日，发布在 arXiv 上。^[2]

GPT-4 是一个多模态大模型，可以接收图像和文字输入，输出文字。多模态是指模型能够处理不止一种输入，这里指图像与文字。^[1] 它面向付费的 ChatGPT 订阅用户开放，也可以通过 API 使用。^[4] 同一天，微软表示其必应（Bing）AI 聊天机器人使用了 GPT-4；OpenAI 则称，该模型是在微软 Azure 上训练的。^[4][2]

关键细节

OpenAI 表示，GPT-4 在许多现实场景中仍不及人类，但在多种专业和学术基准测试上达到了人类水平。在模拟的律师资格考试（bar exam）中，它的成绩约位于应试者的前 10%。^[2]

GPT-4 是一个基于 Transformer 的模型，先以预测下一个词元为目标进行预训练（pre-training），训练数据包括公开可得的数据和第三方授权的数据；之后再通过人类反馈强化学习（RLHF）进行微调。^[2] 预训练是第一阶段，模型在大规模数据中学习通用的规律，之后才针对具体任务进行调整。

技术报告没有披露更多细节。报告以竞争格局和安全影响为由，没有给出模型架构（包括模型规模）、硬件、训练算力、数据集构建方式和训练方法的信息。^[2] 这意味着读者无法仅凭报告了解模型的规模和设计。

OpenAI 还表示，它对 GPT-4 部分性能的预测，是基于计算量不超过 GPT-4 千分之一（即 1/1,000）的模型做出的。^[2] 这种做法属于扩展性预测（scaling prediction），即用较小规模的训练结果来估计大模型的表现。

在 MMLU 基准的翻译版本上，MMLU 是一套涵盖多个学科的选择题测试，GPT-4 在所测试的 26 种语言中，有 24 种超过了此前的英语最好成绩。^[2]

定价方面，CNBC 报道，GPT-4 的 API 价格约为每 750 词的输入 3 美分、每 750 词的输出 6 美分。^[4]

影响

GPT-4 的发布说明，大型语言模型可以同时处理图像和文字，这扩大了模型能够完成的任务范围。^[1] 它既面向付费的 ChatGPT 订阅用户，也用于微软的必应聊天机器人，因此同一个模型同时服务于 OpenAI 自己的产品和合作伙伴的产品。^[4]

技术报告没有披露架构和训练细节，这引出了一个此后反复出现的问题：开发者应当公开其最强模型的多少信息，外部研究者又如何在设计不公开的情况下评估一个系统。报告给出的理由是竞争和安全。外界能在多大程度上核实这些模型，这一问题仍然有待讨论。