《通用人工智能的火花：GPT-4 早期实验》

论文想回答什么

2023 年 3 月 22 日，由 Sebastien Bubeck、Varun Chandrasekaran 和 Ronen Eldan 带领的一个微软研究团队，连同另外 11 位微软作者，把《通用人工智能的火花：GPT-4 早期实验》提交到了 arXiv^[1]。这篇论文描述的不是一个已经完成的产品，而是对一个早期版本的 GPT-4 所做的考察——当时这个模型还在 OpenAI 内部积极开发之中^[1]。

核心主张

作者认为，这个早期版本的 GPT-4 属于新一批大型语言模型（large language model, LLM），与 ChatGPT、Google 的 PaLM 等系统同属一类，表现出比以往人工智能模型更通用的智能^[1]。他们的证据是广度：模型能够在数学、编程、视觉、医学、法律、心理学等领域解决新颖而困难的任务，并且不需要任何特殊的提示（prompting）^[1]。

最后一点关系到整篇论文的立场。此前关于语言模型的讨论，很多集中在其被精心设计的提示引导时会有什么表现；微软团队则把重点放在模型没有被专门准备过的任务上，并报告其表现惊人地接近人类水平，且常常远超 ChatGPT 等此前的模型^[1]。

一个早期但并不完整的 AGI

论文最常被引用的结论相当谨慎：作者称，GPT-4 可以合理地被视为通用人工智能（artificial general intelligence, AGI）系统的一个早期但尚不完整的版本^[1]。「不完整」这个词在文中分量很重——他们把特别的注意力放在发现模型的局限以及前方的挑战上^[1]。

这也解释了标题为什么说的是「火花」而不是「到来」：主张的是一种通用能力开始出现在单个模型之中，而不是通用智能问题已经被解决。

关于范式的疑问

论文结尾提出，可能有必要寻找一种超越下一词预测（next-word prediction）的新范式^[1]。这里讨论的模型是通过预测序列中的下一个词元（token）来训练的；作者提出，若要进一步走向通用智能，或许需要超越这一目标的方法。这一提法是作为开放问题抛出的，而不是已经确定的结论。

为什么重要

这篇论文为随后几年里一场重要争论提供了名称和公开框架：大型语言模型究竟只是非常擅长补全模式的系统，还是通用人工智能的最初迹象。它既记录了一个尚未发布的模型在跨领域的广泛能力，又同时强调它的失败之处，由此确立了一种后来被许多评估沿用的做法——用困难、陌生的问题去测试，然后认真寻找系统在哪里出错。