《GPT-4 技术报告》

这是一份什么样的文档

《GPT-4 技术报告》是一篇由 OpenAI 署名的论文，2023 年 3 月 15 日提交到 arXiv，编号 2303.08774^[1]。摘要把 GPT-4 描述为一个大规模的多模态模型（multimodal model），可以接受图像和文本两种输入，输出文本^[1]。它是一份技术文档，而非产品宣传：说明这个模型是什么、怎么训练出来、在哪些题目上被测量过，以及围绕它的工程工作是如何组织的。

模型是怎么做出来的

报告把 GPT-4 描述为基于 Transformer 的模型，预训练的目标是预测文档中的下一个词元（token）^[1]。下一个词元预测是一个简单目标，但副作用很强。一份文档会被切分成词元，模型在每一个位置上都为「接下来可能出现的词元」给出概率；训练所做的，就是调整参数，让真正出现的那个词元获得更高的概率。在大量文本上反复做这件事，模型不得不表示语法、事实乃至某种类似推理的东西，因为这些都有助于预测后文。Transformer 是让这件事可行的网络结构家族：序列中的每个位置在构造自己的表示时，可以参考其他位置的信息；报告把 GPT-4 归入这一类模型^[1]。

输入并不只有文本。摘要说模型接受图像和文本输入、输出文本^[1]，因此图像可以成为问题的一部分，而答案始终以文字给出。

预训练之后还有一步后训练对齐（post-training alignment）。报告说，这一过程提升了模型在事实性（factuality）方面的表现，也让它更遵循所期望的行为方式^[1]。这里的「对齐」指的是在主预训练之后继续训练，用来塑造模型的回答方式：让它的陈述更可靠，让行为保持在预期的范围内。

在什么上面被测量

报告既写了上限，也写了下限。它明确说明，模型在很多真实场景中仍然不如人类，但在多项专业和学术基准（benchmark）上表现出人类水平^[1]。摘要举的例子是一场模拟的律师资格考试，模型得分大约处在考生的前 10%^[1]。律师资格考试是以书面题和论述题构成的执业资格考试，模拟版本是练习题，而不是正式考试。这两句话要放在一起读：基准是一类范围很窄、有标准答案的题目，在某项基准上做得好，不等于在日常生活里那些杂乱无章的情境中也能和人相当。

把可预测的规模化当作工程目标

报告把「开发在很大规模范围内表现可预测的基础设施和优化方法」称为项目的核心组成部分之一^[1]。这项工作让团队可以用算力不超过 GPT-4 千分之一的模型，来预测 GPT-4 在某些方面的表现^[1]。之所以把它当成一项交付物，道理很实际：完整训练一次又贵又慢，小规模训练则便宜得多。如果随着模型变大，性能曲线保持平滑、可预测，那么一串小实验就能在大模型训练之前提供关于它的信息，问题也能在早期而不是在最后才被发现。

文档本身

报告长 100 页，作者名单在后来的修订中做过更新^[1]。这样的篇幅对一篇会议论文来说并不常见，更接近工业实验室的做法：一份文档要同时覆盖模型、评测以及围绕它的工程工作。

为什么重要

这份报告是前沿模型工作如何向公众交代的一个紧凑样本。它在同一段里既给出能力主张，也写明能力边界，读者因此能看到「基准上达到人类水平」和「真实场景中不如人」是同一系统的两条事实^[1]。它还把跨规模的可预测性本身当作一项工程成果，而不只是完成后的模型的某种性质^[1]。由于它是一份有固定编号、有明确提交日期的技术文档，后来的读者可以把它当作一个稳定的参照点，用来核对当时关于 GPT-4 究竟主张了什么。