《GPQA：研究生级防搜索问答基准》

一个刻意防搜索的题集

GPQA 的名字取自论文标题「研究生级防搜索问答基准」（Graduate-Level Google-Proof Q&A Benchmark）。它是一个包含 448 道选择题的数据集，题目由生物学、物理学和化学领域的专家撰写^[1]。论文由 David Rein、Betty Li Hou、Asa Cooper Stickland 等 8 位作者于 2023 年 11 月 20 日提交到 arXiv^[1]。每道题给出若干选项，模型的回答要么是标注的正确选项、要么不是，因此分数可以直接算出，不需要人工逐条批改。这套题的特殊之处在于它被有意设计得很难：对熟悉该领域的人也不轻松，而且很难靠检索答对。

为什么需要更难的基准

基准（benchmark）是一批答案已知的固定任务，用来在同一把尺子下比较不同系统。它的用处取决于难度：当强模型几乎全对时，高分就不再说明系统能做什么、不能做什么。要让一套题保持区分度，就得让答案不是「搜到就能抄」的形式，而需要经过研究生阶段的专业训练才能推理出来。

题目是怎样验证的

作者从两个方向检验难度。一端是领域专家，即已经获得或正在攻读对应领域博士学位的人，他们的正确率是 65%；如果把专家事后明确指出的错误剔除，则为 74%^[1]。另一端是技能熟练的非专家验证者，他们可以不受限制地使用网络，平均在一道题上花费超过 30 分钟，正确率却只有 34%^[1]。这个差距正是「防搜索」这一说法的来源：一个有耐心、有浏览器的读者仍然会答错大部分题目，说明答案并不是原样躺在网上的某处等着被找到。

AI 系统的成绩

作者搭建的基线中，最强的一个基于 GPT-4，正确率为 39%^[1]。这个数字远低于领域专家的 65%，只比非专家验证者的 34% 高几个百分点：当时的前沿模型大致停留在认真查资料的非专家水平，而不是专家水平。

作者为什么看重它

论文给出的动机是可扩展监督（scalable oversight）^[2]。当模型承担的任务，其输出无法由一个人独立核实，监督方法就需要合适的试验场：正确答案确实存在、可以判定，但负责监督的人自己既不知道、也查不到。GPQA 想提供的正是这种题：对熟练非专家难，对前沿 AI 系统也难，但仍能对照明确的答案打分^[2]。于是可以给监督者一道题和一个候选答案，测量他的判断是否正确——作者认为，GPQA 对熟练非专家和前沿系统的双重难度，正好能让这类监督实验做得更接近现实^[2]。

格式带来的局限

最终得到的只是 448 道选择题上的一个准确率数字：它便于计算和比较，但只反映模型是否选对了选项，不反映推理过程。「防搜索」同样是一个关于论文中那批验证者和实验条件的说法：它指的是一组可以上网的非专家没能答对这些问题，而不是说这些问题在任何条件下都无法用别的办法解决。