OpenAI 推出 ChatGPT 研究预览版

背景

在 ChatGPT 之前，大多数人接触大型语言模型，主要是通过开发者工具或演示程序，而不是一个可以直接输入对话的窗口。OpenAI 此前推出的 InstructGPT 采用了人类反馈强化学习（reinforcement learning from human feedback，RLHF）。OpenAI 后来称 ChatGPT 是 InstructGPT 的姊妹模型，两者使用相同的方法训练，只是在数据收集上略有差异。^[1]

发生了什么

2022 年 11 月 30 日，OpenAI 推出 ChatGPT，称它是一个能进行对话交流的模型，并在研究预览期间免费开放使用。^[1] OpenAI 表示，对话形式使模型能够回答后续问题、承认自己的错误、质疑错误的前提，并拒绝不当请求。^[1]

2023 年 2 月 1 日，OpenAI 推出了付费订阅计划 ChatGPT Plus 的试点版本。^[2]

关键细节

训练包含几个步骤。人类 AI 训练师一方面扮演用户，一方面扮演 AI 助手，编写对话内容；这些对话数据与 InstructGPT 的数据集混合在一起。接着，训练师对模型给出的多个候选回答进行排序，并据此训练奖励模型（reward model），即一个根据人类偏好给回答打分的模型。最后，模型使用近端策略优化（Proximal Policy Optimization，PPO）这一强化学习算法，经过多轮迭代进行微调。^[1]

ChatGPT 基于 GPT-3.5 系列中的一个模型微调而来，该模型于 2022 年初完成训练。ChatGPT 和 GPT-3.5 都是在 Azure AI 超级计算基础设施上训练的。^[1]

OpenAI 在发布时列出了几项局限：答案听起来合理但可能并不正确；对问题的措辞变化较为敏感；回答有时过于啰嗦；面对含糊的问题，模型会去猜测；有时还会回应有害指令。OpenAI 使用其审核接口（Moderation API）对部分不安全内容进行提醒或拦截。^[1]

2023 年 11 月 6 日，OpenAI 在首届开发者大会（DevDay）上表示，ChatGPT 的周活跃用户约为 1 亿，超过 92% 的《财富》500 强企业使用了该平台。^[3] 美国的 CNBC 当时报道称，ChatGPT 打破了纪录，成为史上增长最快的消费类应用。^[3]

2025 年 8 月，OpenAI 表示预计 ChatGPT 的周活跃用户将达到 7 亿。^[4]

影响

ChatGPT 以一个任何人都能直接使用的聊天窗口呈现大型语言模型，使这项技术进入了比开发者工具更广泛的人群视野。它列出的局限，尤其是「看似合理却出错」的回答，此后成为用户和研究者反复讨论的问题，如何核查模型输出仍是持续进行的研究方向。免费研究预览之后推出付费订阅，也形成了此类产品的一种常见做法：先广泛开放，再在此之上提供付费层级。