A Neural Probabilistic Language Model（神经概率语言模型）

论文概况

《A Neural Probabilistic Language Model》发表于《Journal of Machine Learning Research》第 3 卷，作者为 Yoshua Bengio、Réjean Ducharme、Pascal Vincent 与 Christian Jauvin，单位是蒙特利尔大学。论文 2002 年 4 月投稿，2003 年 2 月正式发表。^[1]

要解决的问题

语言模型用来估计一段词序列出现的可能性，对语音识别、机器翻译等任务很重要。当时主要的对比对象是 n 元模型（n-gram），它只看前面几个词，通过统计训练数据中见过的短序列来估计下一个词。作者指出了「维数灾难」（curse of dimensionality）：要对 10 万词词表中的 10 个连续词建模，理论上需要高达 10 的 50 次方减 1 个自由参数；而 n 元模型只能靠拼接训练中见过的很短的词序列来泛化。^[1]

怎么做的

论文的思路是：为每个词学习一个分布式特征向量，用这些向量表示词序列的概率，并同时学习向量和概率函数。^[1] 模型中，一个共享的查找表把前面每个词映射为向量，向量经过 tanh 隐藏层，再由 softmax 输出层给出词表中每个词作为下一个词的概率。softmax 的作用是把打分转化为概率。^[2]

这也是它能够泛化的原因：一句训练中从未出现的话，只要其中的词向量与见过的句子中的词相近，仍能得到较高概率。「dog」与「cat」、「bedroom」与「room」就是可以相互替代的词。^[2]

结果

作者在两个语料上做了测试：布朗语料库（Brown corpus，约 118 万词）和 1995 至 1996 年的美联社新闻（AP News，训练词约 1400 万）。测试困惑度（perplexity，越低越好，粗略反映模型对文本的「惊讶」程度）在布朗语料上比最好的 n 元模型低约 24%，在美联社新闻上低约 8%。引入更长的上下文，以及与三元模型混合，都进一步降低了困惑度。^[2]

为什么重要

训练含数百万参数的模型本身就是挑战，作者为此编写了并行实现。美联社语料的一次训练运行在 40 个 CPU 上进行了 5 轮（epoch，即完整遍历一遍训练数据），耗时约三周。^[2]

ACM 在 2019 年的图灵奖公告中认为，这项工作引入了高维词嵌入，并影响了机器翻译、问答和视觉问答等领域。它将这项工作的时间定为 2000 年，而期刊版本发表于 2003 年。^[3]

后来，更简单的方法让词向量的学习成本大幅降低，使其能在超大规模文本上训练。这一系列工作的基础思想，正来自这篇论文。^[1]