《测量大规模多任务语言理解》（MMLU）

语言模型常常在某些题目上表现很好，换一类题目就明显变差。要看清这种差距，需要一个横跨多个学科、又用同一把尺子打分的测试。2020 年 9 月 7 日，Dan Hendrycks、Collin Burns、Steven Basart、Andy Zou、Mantas Mazeika、Dawn Song 和 Jacob Steinhardt 把提出这一测试的论文提交到 arXiv，测试名为 MMLU（大规模多任务语言理解）^[1]。

测试里有什么

MMLU 覆盖 57 项任务，其中包括初等数学、美国历史、计算机科学、法律等^[1]。科目搭配是有意为之：从小学水平的算术一直延伸到专业性很强的领域，模型无法靠某一科特别强就拿到高分，分数同时反映广度和深度。作者把要求写得很直白：要在测试上取得高准确率，模型必须具备广泛的世界知识和问题求解能力^[1]。读了很多文本却用不上的模型不行，推理干净但对外部世界知之甚少的模型也不行。

结果

最受关注的结果是最好的模型离及格有多远。当时多数较新的模型得分接近随机水平，大致相当于完全不具备相关知识、只能瞎猜时的成绩。最大的 GPT-3 模型是个例外：它平均比随机水平高出近 20 个百分点^[1]。这是实打实的进步，但距离真正答对这套题仍然很远。

失败在哪里

比平均分更有价值的是失败的样子。在全部 57 项任务上，最好的模型都还需要大幅改进才能达到专家级准确率^[1]。一科强并不意味着另一科也强，单一的总分掩盖了任务之间的巨大差异。

缺口并不只出现在冷门科目上。在道德、法律这类具有社会重要性的主题上，模型的准确率接近随机^[1]。一个回答法律或伦理问题不比乱猜更好的模型，对想在这些领域使用它的人来说就是明确的问题。

第三个发现关于「知道自己错了没有」。作者报告说，模型常常无法判断自己什么时候是错的^[1]。如果一个模型给出正确答案和给出错误答案时同样自信，用户就拿不到任何提示去判断什么时候该复核输出；一旦系统被用于有后果的场合，这一点和准确率本身同样重要。

为什么重要

这篇论文的贡献在于提供了一种把知识广度和推理能力放在一起衡量的方法，而不是一次只测一项狭窄技能。由于 57 项任务对所有模型都一样，分数可以跨系统、跨时间比较，与专家水平的距离也可以被明确说出来，而不只是凭感觉估计。

结果同时给出了一条清晰的基线。它说明，横跨多科的测试有着窄测试不具备的难度：在单项任务上看起来有能力的模型，在另一些任务上却接近瞎猜，而且对自己有多不确定缺乏可靠的报告。这两点——知识在不同学科间分布不均、自我评估不可靠——框定了此后语言模型评测工作要处理的大部分问题。