《HellaSwag：机器真的能接完你的句子吗？》

Rowan Zellers、Ari Holtzman、Yonatan Bisk、Ali Farhadi 和 Yejin Choi 于 2019 年 5 月 19 日把论文《HellaSwag：机器真的能接完你的句子吗？》提交到 arXiv^[1]。

一个已经不够难的任务

任务本身很好描述。给定一句事件描述，比如「一个女人坐在钢琴前」，机器要从一组候选里挑出最可能的后续句子^[1]。这沿用了这几位作者在 2018 年使用的常识自然语言推理（commonsense natural language inference）设定^[1]。这种题型的好处是不需要专业知识：人读一遍选项，就能挑出讲得通的那一句。难的地方在于，「讲得通」要求模型知道日常生活通常怎么发展——谁在什么时候做什么、按什么顺序、什么样的结果会显得古怪。

到 2019 年，这份难度一半被测量过、一半被解决了。随着 BERT 的出现，此前那个版本的任务上已经达到接近人类的表现^[1]。一个基准一旦接近饱和——系统得分和人大致相当——它就不再能区分好模型和更好的模型。HellaSwag 正是为此设计的：用来说明常识推理对当时最先进的模型依然困难^[1]。

机器写错项，机器来筛

真正有分量的工程在错误选项的制作上。作者没有请人写看起来合理的干扰项，而是让机器生成，再用对抗过滤（Adversarial Filtering，AF）来筛：这是一套数据收集范式，由一系列判别器迭代地挑选出一组带有对抗性的、机器生成的错误答案^[1]。这个过程可以这样理解：先训练一个模型去分辨真实结尾和生成结尾；它判对的生成样本被丢掉，它判错的被留下；下一轮再针对这批留下来的样本生成更难的新候选。

关键在于把例子的长度和复杂度放大到一个「刚刚好」（Goldilocks）的区间：生成的文本在人看来荒唐可笑，却常常被最先进的模型判错^[1]。两个极端都没用。一眼就离谱的结尾任何模型都能排除，测不出东西；读起来合理、模型也判对的结尾则没有增加难度。只有处在中间地带的错项才有价值——它偏离现实到让人发笑，局部读起来却仍然通顺，于是暴露出模型其实并不掌握的东西。作者报告说，对抗过滤被证明出奇地稳健^[1]。

结果

论文报告的其实是同一批题目上的两个分数之间的距离。人类答题的准确率超过 95%，而论文发表时最先进的模型不到 48%^[1]。也就是说，题目本身对人来说是简单的，数据集并不考查冷僻知识，却仍然难住了系统；难点不在词句，而在对事件如何展开的日常预期。

为什么重要

这篇论文的贡献有两条比它自己的数字活得更久。第一是提供了一种刻意制造难题的造基准方法：难度是通过把错误选项对准当前模型的弱点生产出来的，而不是指望人手写的干扰项恰好够难。第二是关于当时模型缺什么的证据。此前那个版本的任务上分数很高，容易让人以为机器已经掌握了常识推理；HellaSwag 表明那个结果在很大程度上依赖于任务本身容易，一旦把标准提到「差一点就对」的错误选项这一区间，缺口就重新变宽了^[1]。

标题里的问题

论文发表时，标题里的问题没有答案：机器并不是真的在接完句子，它是在若干候选里挑一个，而且一半以上的时候挑错了。人类 95% 以上与模型 48% 以下之间的距离，就是后续工作要站的位置^[1]。