《超越模仿游戏》（BIG-bench）

为什么要再做一个基准

基准（benchmark）是一组固定的题目加上一套打分方法。它的价值取决于难度：一旦模型把某个基准上的题大多做对了，分数就不再能说明系统之间的差别，测试也就需要用更难的题替换。BIG-bench 正是围绕这个问题组织的，它专注于被认为超出当前语言模型能力的任务，这样高分才有意义，而不是只反映出模型已经熟练的技能。^[1]

一个由许多人共同编写的基准

论文题为《超越模仿游戏：量化并外推语言模型的能力》（Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models），由 Aarohi Srivastava、Abhinav Rastogi、Abhishek Rao 以及一份很长的作者名单于 2022 年 6 月 9 日提交到 arXiv。^[1] 这份名单的长度本身就说明了基准的做法。BIG-bench 由 204 个任务组成，这些任务由来自 132 个机构的 450 位作者贡献，是集体协作的产物，而非某一个实验室的成果。^[1]

任务覆盖面之广也由此而来。题目取自语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等领域，并且不限于此。^[1] 把差别如此大的学科混在一起，用意在于：一个模型可能在某类文本上很强，在另一类上很弱；只考文字谜题的基准会漏掉很多方面。这些任务有的考知识，有的要求多步推理，有的要求对社会偏见作出判断——它们是不同的要求，很难用单一技能同时满足。

模型是怎么被比较的

作者们在不同的模型规模上，评估了 OpenAI 的 GPT 系列模型、Google 内部的稠密 Transformer（dense transformer）结构，以及 Switch 式稀疏 Transformer（sparse transformer）的行为。^[1] 这几个家族在算力如何花费于网络内部上有所不同：稠密 Transformer 处理每个词元（token）时都会用到全部参数，而 Switch 式稀疏设计让每个词元只经过网络的一部分，于是总参数量与单个词元的计算成本被分开了。在多个规模上同时比较这三类结构，使这个基准不仅能用来给系统排名，也能用来观察能力随模型增大如何变化。

BIG-bench Lite

论文还介绍了 BIG-bench Lite，这是一个精选出的 24 个任务的子集，用于轻量评估。^[2] 跑完 204 个任务开销很大，一个更小的固定集合使快速检查模型、以及在不同团队之间比较结果变得可行。由于子集是精选而非随机抽样，它的定位是代表完整基准，而不是覆盖其中的每一类任务。

为什么重要

BIG-bench 的贡献可以分成两部分来看。第一是任务集合本身：一套覆盖面广、描述公开的题目，涉及更窄的基准容易忽略的领域，由许多机构的上百位贡献者共同编写。^[1] 第二是它提出的思路。通过瞄准当前模型不被期待解决的任务，这个项目把基准当作一个移动的目标而不是固定的记分牌，也等于请整个领域把模型暂时做不到的事情写下来。^[1] 在 GPT 模型、Google 的稠密 Transformer 和 Switch 式稀疏 Transformer 上的评估体现了它的用法：让众多模型家族与规模在同一块地面上被测量，并把差异读作语言模型能力当时所处位置、以及可能如何向外延伸的一幅图景。^[1]