词与短语的分布式表示及其组合性

论文面对的问题

分布式表示（distributed representation）把词表示成一串数值组成的向量，而不是一个孤立编号。这样做的意义在于：向量空间可以把语法和语义关系变成可比较、可计算的位置关系。对这种表示来说，关键是向量能否保存词与词之间的规律，而不是只给每个词一个编号。论文由 Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado 和 Jeffrey Dean 于 2013 年 10 月 16 日发布在 arXiv 上，把连续 Skip-gram（continuous Skip-gram）模型描述为一种高效学习分布式向量表示的方法，目标是捕捉大量精确的句法和语义关系。^[1] 作者也指出词级表示的边界：词表示不关心词序，也不容易表示习语性短语。^[1] 他们举的例子是，“Canada”和“Air”的含义不能轻易合成为“Air Canada”。^[1] 这个例子说明，逐个词表示可能漏掉一个短语作为整体才有的意义。

论文提出的方法

论文的核心模型是连续 Skip-gram；作者把它作为高效学习分布式向量的方法，并给出若干扩展，用来同时改善向量质量和训练速度。^[1] 一个扩展是对高频词做下采样（subsampling）。^[1] 论文报告，这样做带来显著加速，并且学到的词表示更规整。^[1] 另一个扩展是负采样（negative sampling），论文把它描述为分层 softmax（hierarchical softmax）的一种简单替代。^[1] 论文还给出一种在文本中寻找短语的简单方法。^[1] 这让工作分成两个层次：一层是词向量，另一层是从文本中识别多词单位，使短语可以作为一个单位来处理，而不只是若干独立的词。

报告的结果和意义

论文报告的结果集中在两点：向量质量和训练速度。作者称这些扩展同时改善了向量质量和训练速度。^[1] 对高频词下采样被单独指出，既能显著加速，也能学到更规整的词表示。^[1] 负采样则作为分层 softmax 的简单替代出现。^[1] 寻找短语的方法把处理对象从单个词扩展到短语。^[1] 这些结果的重要性在于，它们回应了学习表示时的实际矛盾：有用的向量需要捕捉大量精确关系，但训练又必须足够高效。这组选择共同服务于一个目标：让表示既有用，又能训练。论文的贡献因此是一组表示方法和训练方法的选择：连续 Skip-gram 负责学习向量，下采样和负采样处理速度与表示规整性，短语发现方法处理多词单位。作者也明确写出局限：词表示不关心词序，也不容易表示习语性短语。^[1] “Air Canada”的例子说明，为什么需要短语这一层；短语发现方法正是对这个缺口的回应。