《GLUE：自然语言理解多任务基准与分析平台》

GLUE 是什么

GLUE 是一个基准（benchmark）与分析平台，用来评测和分析模型在一系列多样的既有自然语言理解（natural language understanding，NLU）任务上的表现^[1]。它汇集的任务包括问答、情感分析和文本蕴含，并配有一个在线平台，供使用者评测、比较和分析模型^[2]。描述这一工作的论文由 Alex Wang、Amanpreet Singh、Julian Michael、Felix Hill、Omer Levy 和 Samuel R. Bowman 撰写，于 2018 年 4 月 20 日提交到 arXiv^[1]。

它的构造方式

这个基准有两个关键的设计选择。第一，它与模型无关（model-agnostic）：不规定必须使用什么架构或训练流程，只要能跑这些任务的系统，都可以用同一套方式打分^[1]。第二，它有意让「跨任务共享知识」变得划算，因为其中一些任务的训练数据非常有限^[1]。一个能把数据充足的任务上学到的东西迁移过来的模型，在数据稀缺的任务上就有优势；于是基准奖励的是用一个系统处理多个任务，而不是一堆互不相干的专用模型。

评测也没有被压缩成一个总分。基准附带一套人工编写的诊断测试集（diagnostic test suite），可以对 NLU 模型做细致的语言学分析^[1]。主任务上的分数说明模型答对了多少，诊断集则用来说明模型掌握了哪些语言上的区分、哪些还没有。

基线实验说明了什么

作者不只是提出了基准，还在上面跑了基线，方法基于多任务学习（multi-task learning）和迁移学习（transfer learning）。这些做法并没有立刻比「每个任务单独训练一个模型」这一简单做法带来明显提升^[1]。对一个新基准来说，这是一个值得如实报告的负面结果：把若干任务放进同一个训练流程，本身并不等于更高的分数，共享表示到底有没有好处，需要被证明而不是被假定。

为什么重要

当模型在不同任务、不同数据、不同格式和不同评分方式下被衡量时，结果之间很难对齐。一组共同的任务，加上一个用于评测、比较和分析的在线平台，给了研究者一个可以把结果并排放置的共同基础^[2]。又因为基准与模型无关，这种比较不依附于任何一类方法^[1]。

同样重要的是打分与分析的分工。主任务衡量性能，人工编写的诊断测试集衡量行为，让人能够从语言学角度细读模型学到了什么、没学到什么^[1]。而把训练数据非常有限的任务也纳入其中，则使「跨任务共享知识」成为评测本身的一部分，而不是事后才想到的问题^[1]。

作为一篇论文来看，GLUE 的贡献是基础设施性质的：一套固定的任务、一个公开比较各系统表现其上的平台，以及一件用来观察分数背后情况的分开工具。