Efficient Estimation of Word Representations in Vector Space（向量空间中词表示的高效估计）

论文概况

《Efficient Estimation of Word Representations in Vector Space》于 2013 年 1 月 16 日提交至 arXiv，作者为谷歌的 Tomas Mikolov、Kai Chen、Greg Corrado 与 Jeffrey Dean。这篇论文与其后续工作是 word2vec 的基础。^[1]

要解决的问题

此前的神经网络词向量方法，训练数据从未超过几亿词，而且大部分计算成本来自非线性隐藏层。^[1] 要从更多文本中学习词向量，就必须降低这部分成本。

怎么做的

论文提出两种去掉隐藏层的简单对数线性模型：连续词袋（Continuous Bag-of-Words，CBOW）根据周围的词预测当前词；连续跳字模型（Continuous Skip-gram）则根据当前词预测周围的词。^[1] 以「the cat sat on the mat」为例：CBOW 用「the cat ___ on the mat」中空缺处周围的词猜出「sat」；Skip-gram 则从「sat」出发，去预测附近的「cat」和「on」。

结果

为了评测，作者构建了新的语义-句法词关系测试集，包含 8,869 道语义类和 10,675 道句法类类比题，例如「France 之于 Paris，如同 Germany 之于 Berlin」。训练数据是约 60 亿个词元（token）的 Google News 语料，词表限定为最常见的 100 万个词。^[1]

训练不到一天即可在 16 亿词上得到高质量的向量。一个 300 维的 Skip-gram 模型在 16 亿词上训练一轮，约两天后在测试集上的总体准确率达到 53.8%。^[1] 论文还重申了那个经典例子：vector('King') − vector('Man') + vector('Woman') 最接近 vector('Queen')。^[1]

代码与后续

第一版之后，团队发布了单机多线程的 C++ 代码，训练速度可达每小时数十亿词；同时还发布了超过 140 万个命名实体的向量，它们在超过 1,000 亿词上训练。这些代码即后来的开源项目 word2vec。^[1]

NIPS 2013 的后续论文由 Mikolov、Ilya Sutskever、Chen、Corrado 与 Dean 完成，加入了负采样（negative sampling）、高频词下采样以及短语向量。它获得了 NeurIPS 2023 时间检验奖（Test of Time Award）。^[3][4]

影响

论文的贡献主要在实用性：模型足够简单、足够快，能在比以往神经方法所能处理的大得多的语料上训练，这使词向量成为语言系统中的常规输入。^[1]