机器阅读理解在 SQuAD 上首次超过人类基线

背景

机器阅读理解（machine reading comprehension）指的是把一个文档和一组关于它的问题交给系统，由系统自己读出答案。它和关键词检索不是一回事：搜索引擎返回的是可能含有答案的页面，而阅读理解系统要给出答案本身。SQuAD 是围绕这一任务建立的基准与公开排行榜，榜上的系统由两项指标打分：精确匹配（exact match）要求提交的答案与参考答案完全一致，F1 则对部分重合的答案给部分分 ^[2]。排行榜同时列出人类在同一批问题上的成绩：精确匹配 82.304 ^[1]。

发生了什么

2018 年 1 月 3 日，微软亚洲研究院的 R-NET 模型在 SQuAD 排行榜的精确匹配部分提交了 82.650 的成绩，高于人类在同一批问题上的 82.304 ^[1]。1 月 5 日，阿里巴巴的研究人员提交了 82.440 的精确匹配成绩，也与人类大致相当，两家公司因此在排行榜上并列第一 ^[1]。

微软在一篇博客文章中宣布了「与人类持平」这一节点，把这项技术描述为能够读一份文档并就其回答问题，水平大致相当于一个人 ^[1]。

需要保留的限定

微软亚洲研究院副院长周明（Ming Zhou）指出，总体而言，人类在理解语言的复杂与细微之处上仍然远胜机器 ^[1]。这个限定值得记住。榜单上的人类成绩只是某一组问题上的一个分数，而不是对语言能力的总体衡量。越过这条线说明的是一件很具体的事：在这组问题上，系统给出的答案能与参考答案对上的比例和人大致相当。它远不足以说明系统具备推理能力、背景知识，或者在问题没有好答案时能判断出来。

已经进入产品

这一结果并不只是研究演示。在发布消息时，微软已经把提交到 SQuAD 数据集排行榜的模型的早期版本用在必应（Bing）搜索引擎中 ^[1]。

后来的进展

微软研究院后来记录了结果的先后顺序：R-net 是第一个在 SQuAD 精确匹配上超过人类水平的系统；2018 年 9 月，微软亚洲研究院的 nLnet 成为第一个在精确匹配和 F1 两项上都超过人类水平的系统；此后谷歌的 BERT 成为领先者 ^[2]。

这个顺序也说明公开排行榜变化之快：一旦某个目标被证明可以达到，纪录就可能在几个月内被更强的系统改写。

为什么重要

微软把这一结果称为朝着更自然地与搜索引擎和智能助手交互这一方向迈出的节点 ^[1]。其背后的能力——读一段文字，并就它回答问题——正是「返回链接的系统」与「可以直接向它提问的系统」之间的区别所在。从这个意义上说，基准分数是某种用户体验的代理指标：一个问题能否用日常语言提出并得到回答，而不是被绕开。

这件事同样说明基准擅长什么、又不擅长什么。一个数字给了不同团队一个共同、可比较的目标，让并行工作的机构之间的进展变得可见；但它本身并不能证明机器像人一样理解语言——这一点正是微软的研究者在发布当天自己指出的 ^[1]。