《构建大型英语标注语料库：宾夕法尼亚树库》

论文要解决的问题

要弄清一个句子的语法结构——哪些词组成一个成分、哪个动词带哪些论元——是让计算机处理语言时最基础的工作之一。若想用这类任务训练程序，或者衡量程序做得怎么样，就需要一批由人手工标好结构的文本。这篇论文正是对一个这样的语料库——宾夕法尼亚树库（Penn Treebank）——如何被挑选、如何被标注的公开说明，写出来是为了让其他研究者看清标注里到底有什么、这套标注想支持什么样的研究^[1]。

发表情况

论文于 1993 年发表在《计算语言学》（*Computational Linguistics*）第 19 卷第 2 期，第 313–330 页，由位于马萨诸塞州剑桥的 MIT Press 出版，编辑为 Julia Hirschberg。作者是 Mitchell P. Marcus、Beatrice Santorini 和 Mary Ann Marcinkiewicz^[1]。

文本是怎么选出来的

建库从一个挑选决定开始。研究者从三年份、共计 98,732 篇的《华尔街日报》文章集合中，选出 2,499 篇做句法标注^[2]。这个选择决定了主体语料的面貌：它是经过编辑的美国报纸书面语，语体单一而偏正式，而不是英语写作的整体样本。

标注是什么样子

所用的标记方式是加括号（bracketing）。括号加在句子里那些一起起作用的词组外面，于是词组如何组合被明确记在文件里，而不必由读者去推断。相关版本使用的是被称为 Treebank II 风格的标注方案^[2]。这种括号标注的设计目标说得很直接：它应当允许从标注文本中抽取出简单的谓词／论元结构^[2]。换句话说，读这些文件的程序应当能还原出「谁对谁做了什么」这一基本格局，而标注本身不必对完整的句法理论做出全部承诺。

发布内容里有什么

文中描述了几个部分。Treebank-2 收录了一百万词的 1989 年《华尔街日报》材料，按 Treebank II 风格标注^[2]。与之并列的还有一小批按同一风格标注的 ATIS-3 材料^[2]，为报纸文字之外的语言开了一扇小窗。发布内容还包括一个完整词性标注的布朗语料库（Brown Corpus）^[2]，使一部通用语料带上了词类信息。合在一起，带树库括号标注的文本超过一百万词^[2]。

为什么重要

正是这样的语料库让英语句子层面的研究可以被核对。因为每个句子的结构都被写了下来，两位研究者可以对同一批数据提出同一个问题；一个句法分析系统也可以在部分材料上训练、在其余材料上测试。标注方案的选择和语料规模同样关键：一套支持抽取谓词／论元结构的方案，使数据能用来回答「谁做了什么」这类问题；而一套理论承诺过重的方案，别人就更难直接复用。论文把挑选与标注风格交代清楚，正是让别人能正确理解这些文件的依据。

局限

语料主体来自一家报纸、一个语体、一段有限的时期，这会决定人们能从中学到什么：词汇和句式都带着编辑过的新闻书面语的色彩。ATIS-3 样本和标注过的布朗语料库补充了别的类型的材料，但相比《华尔街日报》那部分，它们的量很小^[2]。使用这部树库的人，在据此谈论整个英语时，必须把这一点放在心上。