OpenAI 发布 GPT-4o

背景

许多早期语音助手采用的是多段式流程：先把语音转成文字，再由语言模型生成回复，最后用语音合成读出来。每一步都会增加延迟，而且这种链条会丢掉文字本身无法承载的语气、停顿等线索。

GPT-4 是 OpenAI 此前的旗舰模型，GPT-4 Turbo 则是 GPT-4o 在文本任务上的对比对象。在这一背景下，GPT-4o 的关键变化，是把多种输入和输出能力统一到同一个模型中。

发生了什么

2024年5月13日，OpenAI 宣布推出 GPT-4o，称它是公司新的旗舰模型，能够在实时中对音频、视觉和文本进行推理。^[1] 这场发布以直播形式进行，由 OpenAI 首席技术官 Mira Murati 介绍。^[4]

同一天，OpenAI 还推出了 ChatGPT 桌面版，开发者也可以通过 API 使用 GPT-4o。^[4] 微软同日在 Azure OpenAI Studio 的 Playground 中提供 GPT-4o 预览，起初支持文本和图像输入，地区为美国的两个区域。^[5]

关键细节

OpenAI 的系统说明（system card）把 GPT-4o 描述为一个自回归的全能模型（autoregressive omni model）：它可以接受文本、音频、图像和视频的任意组合，并生成文本、音频和图像。它采用端到端训练，由一个神经网络同时处理所有输入和输出，而不是把多个专用模型串联起来。^[3] 自回归指模型逐个词元地生成输出，全能则指多种输入输出形式。

在语音输入方面，GPT-4o 最快可在 232 毫秒内作出响应，平均为 320 毫秒。OpenAI 表示，这与人类在对话中的反应时间相近。^[1]

在质量方面，GPT-4o 在英文文本和代码上与 GPT-4 Turbo 持平，在非英文文本上有明显提升。在 API 中，它更快，价格便宜 50%。^[1]

在访问方面，免费的 ChatGPT 用户可以使用 GPT-4o，但有使用上限；Plus 订阅用户的消息容量是免费用户的五倍。^[2]

系统说明描述的是模型本身的设计。基于该模型构建的各类应用，可能开放不同的输入和输出方式，读发布内容时，应把模型的能力与具体产品的功能区分开来。

影响

GPT-4o 的意义主要有两点。其一，它把语音、视觉和文本放进同一个模型，使实时对话的节奏更接近人与人的交谈。其二，它把旗舰模型的能力向免费用户开放，同日又向开发者和云平台用户提供访问。

这些数字来自 OpenAI 和微软的公开说明，属于厂商自报的结果。理解时应把公司的说法与独立评估区分开来。