《人类最后的考试》（HLE）

《人类最后的考试》（Humanity's Last Exam，HLE）是一篇基准论文，作者包括 Long Phan、Alice Gatti、Ziwen Han 以及一份很长的合作者名单，于 2025 年 1 月 24 日提交到 arXiv^[1]。

为什么还要一个新基准

基准只有在模型仍会做错一部分题时才有意义。到这篇论文出现时，大语言模型已经把用来追踪它们的测试题基本做穿了：在 MMLU 等流行基准上——MMLU 是学术界常用的选择题式知识测试——模型的准确率已经超过 90%^[1]。当分数挤到天花板附近，基准就不再能区分不同系统，也很难再对最前沿模型的能力作出有依据的判断^[1]。HLE 就是针对这个问题提出的。

题目是怎么做出来的

HLE 是一个多模态（multi-modal）基准，定位在人类知识的前沿，覆盖面尽量宽广^[1]。作者把它设计为同类中最后一个闭卷式（closed-ended）学术基准^[1]。所谓「闭卷式」，是指每道题都有一个确定的答案，可以用机械的方式判对错，而不是那种需要争论质量的开放任务。

这个基准包含 2,500 道题，横跨数十个学科，其中包括数学、人文学科和自然科学^[1]。题目由世界各地的领域专家编写^[1]。题型分为选择题和简答题两种，都适合自动评分^[1]。这一点对一个要反复对多个模型运行、又不希望每份回答都靠人读的基准来说很关键。

质量控制依靠两条方向相反的性质。一方面，每道题都有已知的、无歧义且易于验证的答案，评分者不必争论某个回答算不算对^[1]。另一方面，题目被设计成无法通过互联网检索快速作答^[1]。这两条合起来排除了基准失效的两种常见方式：答案本身有争议，以及答案可以被模型直接查到。

结果说明了什么

在最先进的大语言模型上，HLE 表现出很低的准确率和很差的校准度（calibration）^[1]。准确率低，是指答对的题比例不高。校准度是另一个维度：它考察模型自己给出的置信度是否与它实际答对的比例相符。一个总说「我很确定」并且大多数时候确实答对的模型，校准良好；答错时同样自信的模型则不是。HLE 在这两点上都暴露了弱点^[1]。

意义与位置

结果是一把既不容易被针对、也不容易被刷满的尺子。因为题目无歧义、可验证，且无法靠快速检索解决，HLE 上的分数反映的更接近知识与推理本身，而不是对题型套路的记忆或搜索技巧^[1]。因为题目来自多个学科的专家，这个基准采样的是范围很广的专家级知识，而不是某一项狭窄技能^[1]。

HLE 同时也划了一条刻意的终点线。作者把它定位为同类中最后一个闭卷式学术基准，言下之意是：在这个格式上继续加码，收益已经不大，未来的评测需要转向那些无法用单一正确答案打分的任务^[1]。从这个角度看，这篇论文既是一份新数据集，也是关于选择题式基准局限的一份声明。

一句话概括

HLE 沿用学术考试的设计——学科多、专家出题、可自动评分、每题一个可验证答案——再把它推到前沿模型得分很低、并且判断不准自己可靠性的难度上^[1]。在更简单的尺子已经量不出东西的时候，正是这种组合让它成为有用的标尺^[1]。