ChatGPT 能看、能听、能说

宣布了什么

2023年9月25日，OpenAI 宣布 ChatGPT 能看、能听、能说。它一次加上了两类能力：可以接收图像并就图像交谈，也可以不用打字、直接用语音对话^[1][2]。图像理解由 OpenAI 称为 GPT-4V 的模型提供，同一天公司发布了这个模型的系统卡（system card）^[1]。

所谓系统卡，是模型发布时一同公开的说明文件：写清这个模型是什么、接受过哪些测试、为限制有害使用做了什么。公开系统卡，等于把发布前检查过什么写在明面上。

这次发布标题里的三个动词值得拆开看。「看」指模型把图像作为输入，并在同一段对话里把图像和文字一起处理；「听」和「说」指对话可以靠语音进行，而不只靠打字。业界常用的说法是多模态（multimodal），意思很朴素：纯语言模型只处理文字，多模态模型在同一段交流里处理不止一种东西。

图像输入背后的安全工作

对 GPT-4V，OpenAI 把图像功能的上线与这个模型的安全评估绑定在一起^[1]。系统卡写明，GPT-4V 的安全工作建立在 GPT-4 已完成的工作之上，并针对图像输入在评估、准备和缓解措施上做得更深^[3]。

图像需要单独做一轮工作，原因在于图像和文字是两条不同的通道。围绕文字设计好的检查，不会自动覆盖图像里可能带进来的内容，因此测试、发布前的准备和缓解措施都要扩展到这种新输入上。系统卡讲的正是这次扩展：不是从头再来，而是在同样这三件事上补上更多工作，而对象是此前没有覆盖到的那类输入。

两天之后：联网

2023年9月27日，ChatGPT 又获得了网页访问能力，可以取得当前的信息^[2]。这改变的是它能依据什么来回答：不再只靠此前学到的东西，而可以接触到当下的材料。两次更新相隔不过两天，一次换掉了输入输出的种类，一次换掉了回答可以取材的来源。

意义

系统卡认为，多模态大语言模型能够凭借新的接口和能力，扩大纯语言系统的影响^[3]。这次发布正是这一判断从研究主张变成产品的时刻之一：助手不再只是一个文字框。语音和图像不只是同一个东西上多了几个按钮，它们改变了谁能比较自然地使用这个系统、能向它提出什么，也改变了交给用户之前必须检查什么。这也是为什么公司把图像功能的上线与它背后的评估放在一起公布，以及为什么系统卡把篇幅花在新输入如何被测试、准备和缓解上，而不是花在功能本身^[1][3]。