GloVe：全局词向量表示

要解决的问题

词向量（word embedding）把每个词表示成一串固定长度的数字，并让用法相近的词在向量空间里靠得比较近。模型不能直接读字符串，只能处理数字，所以这类表示通常是把语言变成数值的起点。当时有两条主要路线。一条基于计数：先统计整个语料里词与词共现（co-occurrence）的次数，得到一张很大的表，再把这张表压缩成短而稠密的向量。另一条基于预测：用目标词前后的一小段上下文（context window，上下文窗口）训练模型去猜邻近的词。两者各有所长——共现表一次性概括了整个语料，窗口训练则聚焦局部用法。GloVe 被描述为一个全局对数双线性回归（global log-bilinear regression）模型，把对词共现次数的全局矩阵分解与局部上下文窗口训练结合起来^[2]。

怎么做的

模型的输入是一张共现矩阵：对每一对词，记录其中一个词在另一个词的上下文窗口里出现了多少次。模型给每个词一个向量，训练目标是让两个词向量的点积（再加上每个词的偏置项）去逼近它们共现次数的对数。取对数是有原因的：原始共现次数的跨度极大，取对数能把少数极高频的词对和大量稀疏的词对拉到可以一起拟合的尺度上。矩阵里每个非零元素算一个训练样本，用加权最小二乘来拟合；出现次数极多的词对会被赋予较低的权重，以免少数高频词主导整个目标。

这样得到的向量由「词在整个语料里一起出现的频率」决定，而不是由某一个局部的预测任务决定。标题里的「全局」指的就是这一点：被分解的统计量来自整个语料，而被统计的上下文仍然是局部的窗口。

发表

论文题为《GloVe: Global Vectors for Word Representation》，在 ACL Anthology 中的编号是 D14-1162，作者是 Jeffrey Pennington、Richard Socher 和 Christopher Manning^[1]。它发表在 2014 年 10 月于卡塔尔多哈举行的 EMNLP 2014（Conference on Empirical Methods in Natural Language Processing）论文集上，位于第 1532 至 1543 页，DOI 为 10.3115/v1/D14-1162^[1]。出版方是计算语言学协会（Association for Computational Linguistics），由其 SIGDAT 特别兴趣小组负责^[1]。

同时发布的东西

除论文之外，作者还放出了在大规模网络语料上预训练好的词向量^[2]。这对实际使用影响很大：使用者不必自己准备语料、跑完训练，直接下载就能把词变成向量，几分钟内就能开始用。

为什么重要

GloVe 于 2014 年发布，与 word2vec 的论文出现在同一年，此后成为产出静态词向量（static word embeddings）的两种标准做法之一^[1]。它的意义有两层。一是方法上：它把此前分立的「计数—分解」与「窗口—预测」两条路线放进同一个目标函数，说明全局共现统计和局部上下文训练并不是非此即彼的两种思路。二是工程上：随论文发布的预训练向量降低了使用门槛，词向量从一项需要自己训练的技术，变成可以直接取用的资源^[2]。

静态词向量的局限也很清楚：一个词无论出现在什么句子里都只有同一个向量，多义词的不同含义只能挤在同一个点上。这一局限属于整类方法，而不属于某一个具体模型。即便如此，把词映射为稠密向量仍然是研究语言时的常规起点，GloVe 的向量长期是人们会取用的标准选择之一。