《MMLU-Pro：更稳健、更具挑战的多任务语言理解基准》

MMLU-Pro 是一个多任务语言理解基准，出自 2024 年 6 月 3 日提交到 arXiv 的论文，作者为 Yubo Wang、Xueguang Ma、Ge Zhang 以及包括 Wenhu Chen 在内的另外 14 位作者 ^[1]。论文标题点明了它的目标：做一个更稳健（robust）、也更具挑战性的 MMLU 后继基准。

要解决的问题

MMLU 是一个以知识为主的测试 ^[1]。模型只要记住足够多的事实，就能从四个选项里挑出正确答案，而不必真的推理，因此分数更多反映「记住了多少」，而不是「想得怎么样」。原题集里还混着一些过于简单或在设置上有瑕疵的题目，它们会让最终分数难以解读 ^[1]。当模型在这类基准上接近满分之后，这个数字就不再说明问题了。

怎么做的

MMLU-Pro 保留了多任务、多项选择的格式，但改变了题目对模型的要求：它把更具挑战性、更偏推理的题目整合进来 ^[1]，同时把选项从四个扩展到十个 ^[1]。选项变多直接抬高了猜对的成本：十个选项带来的干扰项是 MMLU 的三倍，错误答案更逼真，靠排除法作答更难 ^[2]。

构建过程还包括清洗。作者在各学科中共筛掉了 5,886 道题 ^[2]，这是消除原基准中过于简单和有噪声题目的一部分 ^[1]。最终数据集由 14 个学科子集构成，共 12,032 道题 ^[2]。

结果

论文报告了两类测量。第一类是难度：与 MMLU 相比，模型在 MMLU-Pro 上的准确率下降 16% 到 33% ^[1]。在旧基准上看起来已经接近解决的模型，在新基准上仍有很大差距。

第二类是提示词变化下的稳定性。作者测试了 24 种不同的提示风格，观察只改提示词时模型分数会波动多少。在 MMLU 上这一波动为 4%–5%，在 MMLU-Pro 上降到约 2% ^[1]。也就是说，分数更少取决于题目恰好被怎么表述。

为什么重要

一个基准要有用，需要满足几点：足够难，强模型仍会做错；猜答案不划算；分数不会随提示词格式大幅摇摆。MMLU-Pro 正是针对这三点设计的——偏推理的题目、十个选项，以及可测量到的提示敏感度下降 ^[1][2]。对比较模型的人来说，这意味着该基准上的分数在设计上更偏向衡量推理能力而非事实记忆，在不同评测设置下也更可复现。