几乎从零开始的自然语言处理

四个任务，一套架构

自然语言处理不是一个问题，而是一族问题。系统可能要给每个词标出词性，要把词组合成短语，要从句子里挑出人名和地名，还要判断谁对谁做了什么。这些任务通常各有一套流程，特征由人手工设计，规则来自此前积累的知识。

《几乎从零开始的自然语言处理》（Natural Language Processing (Almost) from Scratch）问的是：这种分家是否必要。论文作者为 R. Collobert、J. Weston、L. Bottou、M. Karlen、K. Kavukcuoglu 和 P. Kuksa，2011 年发表于《机器学习研究杂志》（Journal of Machine Learning Research）第 12 卷，第 2493 至 2537 页。^[1]

作者做了什么

摘要给出的是一套统一的神经网络（neural network）架构和学习算法，适用于词性标注（part-of-speech tagging）、组块分析（chunking）、命名实体识别（named entity recognition）和语义角色标注（semantic role labeling）。^[1] 这里的神经网络指一叠简单的计算层，参数由一个不断减小训练误差的算法来调整；四个任务共用这套机制，而不是各配一套组件。

设计刻意做得朴素。作者称，这一做法有意避开任务专用工程，并且不考虑大量已有知识。^[1] 也就是说，系统不会拿到人工写好的模式表、已知人名的词典，或者语言学家针对某一任务总结出的特征。四个任务的输入输出不同，但把词变成预测的那套机器是共用的。

知识从无标注文本中来

第二个设计选择是知识从哪来。系统从海量、且以无标注为主的训练数据中学习内部表示（internal representation）。^[1] 模型不用人工选定的属性来描述一个词，而是把每个词表示成一串数字组成的向量，并根据上下文调整这些向量，使出现在相似语境中的词得到相似的向量。这类数据既多，又不需要人工标注，因此大部分学习可以在使用任何任务标注之前完成。

标题里的那个括号正来自这里。「几乎」从零开始，并不是说系统一无所知，而是说它知道的东西是从原始文本里学到的，不是由设计者写进去的。

成果

摘要说明，这项工作被用作一个可免费获取的标注系统的基础，该系统性能良好，对计算资源的要求很低。^[1] 一个被发布出来的系统会影响人们对方法的判断：别人可以运行它、把它用在自己的文本上、与别的方案比较，而不必照论文描述重写一遍。

意义

这篇论文的贡献，是展示若干语言任务可以由一套架构、一个学习算法和一种知识来源——大量以无标注为主的文本——来承担，而几乎不需要针对单个任务做工程。这样一来，构建语言系统的工作重心就从为每个任务设计特征，转向收集数据并从中学习表示。可免费获取的标注系统让这一做法超出了作者自己的实验范围。^[1]

摘要所主张的范围是具体的：四个标注与标记任务，一套架构，一套训练流程。论文的论证依赖于这样一个判断——在共用且几乎不依赖手工设计的设计下，这些任务能被处理得足够好，值得放弃针对单个任务的精调。