托马斯·米科洛夫（Tomáš Mikolov）

概况

托马斯·米科洛夫（Tomáš Mikolov）是捷克计算机科学家，1982年10月8日出生于捷克的 Šumperk。^[1] 他最为人知的身份，是word2vec的主要作者。word2vec是一组从大量文本中学习词向量（word vector）的方法。词向量是为每个词准备的一组数字，经过学习后，出现在相似语境中的词会得到相近的向量。训练任务本身并不复杂：模型学习根据一个词周围的词来预测它，或者反过来，根据一个词预测其周围的词。由于出现在相似环境中的词会被推向相近的向量，学到的数字便反映了词的使用规律。

教育与早期研究

米科洛夫于2012年在布尔诺理工大学（Brno University of Technology）获得博士学位。他的论文题为 Statistical Language Models Based on Neural Networks，研究的是循环神经网络语言模型。语言模型用来估计一串词出现的可能性，这是预测下一个词的基础。^[1]

在攻读博士学位期间，他曾在约翰斯·霍普金斯大学（Johns Hopkins University）工作，也曾在蒙特利尔大学的约书亚·本吉奥实验室以及雷德蒙德的微软研究院（Microsoft Research）停留。^[1]

主要贡献

博士毕业后，米科洛夫于2012年加入谷歌大脑（Google Brain）团队。2013年，他领导了开发word2vec的研究小组。^[2]

2013年1月，他作为第一作者，与 Kai Chen、Greg Corrado 和 Jeffrey Dean 在arXiv上发表了论文《Efficient Estimation of Word Representations in Vector Space》。论文提出了两种结构：CBOW和Skip-gram。CBOW根据一个词周围的词来预测该词，Skip-gram则反过来，根据一个词预测它周围的词。^[3]

同样是2013年，他作为第一作者，与 Ilya Sutskever、Kai Chen、Greg Corrado 和 Jeff Dean 合作，在NIPS会议上发表了《Distributed Representations of Words and Phrases and their Compositionality》。该论文后来获得了NeurIPS 2023时间检验奖（Test of Time Award）。^[4]

后续工作

2014年，米科洛夫转入Facebook人工智能研究院（Facebook AI Research）。他在那里开发了fastText。这是2016年发布的开源库，可用于文本分类和词向量，并为157种语言提供词表示。^[1]

2020年，他加入布拉格捷克技术大学下属的捷克信息学、机器人与控制论研究所（CIIRC），组建了一个研究组，专门研究会不断演化、复杂度增长的数学模型。^[1]

影响

词向量已成为语言技术中的常用基础组件，word2vec中的思路也被广泛用于研究和应用。时间检验奖授予影响力持续多年的工作，这一奖项反映了该论文持续的影响。