GPT-4V（具备视觉的 GPT-4）

一个能看图的 GPT-4

GPT-4V 里的「V」指视觉（vision）。它是 GPT-4 的一个版本，除了文字之外还接受图像作为输入，OpenAI 在 2023 年 9 月 25 日的 GPT-4V(ision) 系统卡中记录了它 ^[1]。用法和名字一致：用户把一张图和指令一起交给模型，模型分析用户提供的图像输入，再用文字回答 ^[5]。图像不是模型另外调用的工具，而是提示（prompt）的一部分，由同一个处理文字的模型一并处理。

由来

图像输入并不是临时加上去的功能。2023 年 3 月 GPT-4 发布时，接受图像的能力就已经包含在发布内容之中 ^[4]；9 月的系统卡带来的是对这项能力的文档化，以及把它作为可用的东西发布出来 ^[1]。时间点还有另一层意义：同一天，OpenAI 以「ChatGPT can now see, hear, and speak」为题，宣布 ChatGPT 具备图像和语音能力 ^[1][2]。底层模型能力和面向用户的产品是一起落地的，多数人也是通过后者第一次接触到这个功能。

系统卡写了什么

系统卡（system card）是 OpenAI 用来描述模型能力以及如何对其进行安全评估的文档；对 GPT-4V 来说，它描述的是给 GPT-4 加上图像输入之后的安全属性与评估 ^[1]。这个框架也说明了这次发布为什么被当作不只是功能更新。OpenAI 把图像输入这类额外模态（modality）引入大语言模型，描述为 AI 研发中的一个关键前沿 ^[5]。纯文本模型只能处理能写成文字的东西；图像输入打开了需要「看」的任务，而模型之所以能处理，是因为图像作为提示的一部分一起送了进来。

面向开发者

开发者通过 API 使用它，模型名是 gpt-4-vision-preview 和 gpt-4-1106-vision-preview ^[3]。两个名字里的「preview」表明它们不被当作最终稳定的接口；两者最终都停止了服务，时间是 2024 年 12 月 6 日 ^[3]。按这两个模型名写的代码，需要在这个日期之前改为指向后继模型。

在发展中的位置

GPT-4V 更像是一个中间步骤，而不是终点。它建立在 GPT-4 之上 ^[2]，而图像理解在 2024 年 5 月的 GPT-4o 中成为原生能力 ^[2]。这条路径对语言模型来说并不陌生：一项能力先以附加功能的形式出现在已有模型上，被写成文档、通过 API 和聊天产品开放，然后被并入下一代模型——在那一代里，处理不止一种输入是设计的一部分，而不再是一次外挂式的扩展。