OpenAI 发布 GPT-4o mini

背景

大语言模型按 token 计费。token 是模型读入和写出的文本片段，大致相当于词的一部分。服务商按 token 收费，是因为每个 token 都要消耗算力，而同一个模型越大，每个 token 的算力开销就越高。所以一个模型系列通常会做好几个尺寸，其中最便宜的那一档，往往决定了一项服务究竟能不能长期跑下去。

发生了什么

2024 年 7 月 18 日，OpenAI 发布 GPT-4o mini，它是 GPT-4o 的更小、更便宜的版本^[1]。它不只是给开发者用的接口产品：同一天，它在 ChatGPT 中取代了 GPT-3.5 Turbo^[1]。

关键细节

在 API 上，GPT-4o mini 的输入价格是每百万 token 0.15 美元，输出价格是每百万 token 0.60 美元^[1]。当时的报道称，它比 GPT-3.5 Turbo 便宜 60% 以上，同时在 MMLU 上得分 82%^[2]。MMLU 是一套覆盖众多学科的选择题基准，所以这个分数大致衡量模型记住了多少通识知识、能不能用上，而不衡量它聊天聊得好不好。

OpenAI 给出的也是 82% 这个数字，并称在当时 LMSYS 排行榜的聊天偏好上，它超过了 GPT-4^[3]。这个排行榜让用户对两个匿名模型的回答做两两比较，衡量的是偏好，而不是固定试卷上的正确率。两个数字说的其实是两件事：一个关于知识，一个关于人更愿意选哪个回答。

GPT-4o mini 的上下文窗口为 128K token，发布时 API 同时接受文本和图像输入^[3]。上下文窗口指一次请求里最多能放多少材料——一份长文档、一段代码、一份记录——它是「有意做小」的模型和「被削过」的模型之间的分界线之一。图像输入也是同样的道理：图片和文本一起交给模型，模型对两者一并作答。

影响

这次发布同时做了两件事。价格给出了一个公开的参照点：带 128K token 上下文窗口和图像输入的模型，在低价一端是什么价位^[1][3]。ChatGPT 内部的替换则把普通用户日常对话的模型，从 GPT-3.5 Turbo 换成了 GPT-4o mini，GPT-3.5 Turbo 不再担任这个角色^[1]。两件事指向同一个方向：原本属于高价档的能力，被推到了最便宜的一档，也推到了默认产品里。

对开发者来说，低价一档意味着一些原先算不过账的用法开始值得考虑——用模型批量处理一大批文档、给每个用户各跑一次、把模型塞进一个小工具里。代价也在这幅图里。82% 的 MMLU 与排行榜上的偏好结果，都是发布时给出的指标，各自只说明模型的一个侧面；它们都不能替代在你自己的任务上试一次。