基准污染（Benchmark contamination）

什么是基准污染

基准（benchmark）之所以有意义，前提是题目对被测模型来说是陌生的。基准污染指的正是这个前提不成立的情况：模型被评测的测试题，或者与它们非常接近的变体，本来就出现在它的预训练数据里 ^[1]。这时分数里有一部分反映的是「见过」，而不是基准想测的能力，模型之间的比较也因此变得难以解读。

麻烦之处在于，污染不会留下明显的痕迹。高分看起来都一样，无论是来自能力还是来自记忆；而预训练语料通常规模极大，没有人逐篇读过其中每一个文档。

问题是怎么被提出来的

Deng 等人于 2023 年 11 月发表了一项调查，起因是他们注意到大语言模型虚高的基准分数与真实表现之间存在落差 ^[1]。也就是说，促使他们动手的是一个很实际的不一致：纸面上很强的模型，实际用起来并不总是如此。

作者指出，这个问题对闭源模型，以及训练数据不透明的开源模型尤其严重 ^[1]。这两种情况下，外部的人都没法直接翻查预训练语料、看看某个评测集是不是躺在里面，因此污染只能靠推断，而无法直接观察到。

两种检测思路

论文提出了两种检测方法，一种面向开源模型，另一种对开源模型和专有模型都适用 ^[1]。

第一种是基于检索的系统，用来探查评测基准与预训练语料之间可能存在的重叠 ^[1]。这条路线的前提是能拿到语料去搜索，所以它适合那些训练数据已经公开的模型。

第二种是一个叫作 Testset Slot Guessing 的检测协议，完全不需要语料。它把一个多项选择题中的错误选项遮住，让模型去填空；另一个做法是把评测样例中一个不太可能出现的词遮住，让模型把它复现出来 ^[1]。这种设计的道理在于：面对真正没见过的题目，模型没有特别的理由恰好补出那个缺失的选项或词；而在预训练中记住过这道题的模型，则能够把它补全。由于该方法只需要向模型提问，它可以用在权重和数据都不公开的系统上。

实验测出了什么

在 MMLU 基准上，ChatGPT 和 GPT-4 在猜测基准测试数据中被遮住的选项时，精确匹配率分别为 52% 和 57% ^[1]。

在 TruthfulQA 上，作者发现，当向模型提供基准中的额外元数据时，大语言模型的表现出现了明显提升 ^[1]。

作者的主张

作者得出的结论是方法论层面的。他们认为，这些结果说明需要更稳健的评测方法，也需要不断更新或保留不公开的基准 ^[1]。所谓更新，是让基准换用新的题目；所谓保留，是把基准放在公众流通之外，使它无法被吸收进未来的预训练数据。两种做法都意味着，基准不再是一份固定不变的考卷，而是需要被保护和更新的东西。

需要注意的局限

这类检测都是间接的。猜对被遮住的选项，说明这道题或与之相似的内容此前出现过，但这类方法给出的是线索而不是证明，其效力取决于提示是怎么构造的。检索式的做法则受制于它拿到的语料；在训练数据不公开的地方，它根本跑不起来，而这正是填空式协议想要补上的空缺。更一般地说，一个基准分数只有在同时说明「这个基准是如何被挡在训练数据之外的」时，才算得上是有意义的结果。