《GAIA：通用 AI 助手基准》

要解决的问题

基准测试会影响 AI 系统被优化去做什么。近年不少评测专门选择对人类也很难的任务，例如法律、化学等专业领域的问题。GAIA 反过来问：一个 AI 助手能不能处理普通人能回答、但需要多种基本能力配合的问题？论文由 Gregoire Mialon、Clementine Fourrier、Craig Swift、Thomas Wolf、Yann LeCun 和 Thomas Scialom 撰写，于 2023 年 11 月 21 日提交到 arXiv。^[1]

怎么做的

GAIA 提出的是真实场景中的问题，回答它们需要推理、多模态处理、网页浏览以及一般的工具使用能力。^[1] 这类问题不是靠单一技能就能解决：系统可能要理解文字以外的信息，沿着多条线索推理，上网查找并核对资料，再调用工具完成操作。基准关注的是这些能力能否组合起来，而不是只测某一个狭窄任务。^[1]

作者用 GAIA 的方法设计了 466 个问题及其答案；问题对外发布，其中 300 个问题的答案被保留，用来支撑一个公开排行榜。^[1] 这样研究者可以看到题目并开展研究，同时保留一部分答案用于比较不同系统。排行榜的作用是提供共同参照：大家在相同的保留答案上被评分，进展可以随时间比较。

结果

论文报告了明显差距：人类受访者在 GAIA 上达到 92%，而配备插件的 GPT-4 为 15%。^[1] 这些问题对人类来说概念上简单，却让大多数先进 AI 感到困难。^[1] 这个结果说明，不以专家级难度为目标的问题，同样能暴露 AI 助手的短板。

为什么重要

这一差距与近来的趋势形成对照：大语言模型开始在法律、化学等需要专业技能的任务上超过人类。^[1] 这种趋势容易让人以为 AI 正在接近人类的通用能力。GAIA 提出的检验标准不同：系统要像普通人一样稳定地处理这类问题。作者认为，通用人工智能（AGI）的到来取决于系统能否在这些问题上表现出接近普通人水平的稳健性，而不是一味追求对人类越来越难的任务。^[1]

它测什么

GAIA 不只是一组知识问答题。它考察系统能否在接近现实的流程中同时运用推理、多模态处理、网页浏览和工具使用。^[1] 对通用助手来说，这些能力比背下知识点更重要，因为用户会把多步骤、跨来源的任务交给助手。基准包含 466 个问题，公开题目但保留 300 个答案用于排行榜。^[1] 它的重点不是覆盖所有专业领域，而是把普通人能回答的问题作为衡量通用助手的标尺。