潜在狄利克雷分配（LDA）

要解决的问题

文本语料是离散数据的集合——词、计数、出现位置。论文摘要把潜在狄利克雷分配（latent Dirichlet allocation，LDA）描述为针对这类集合的生成式概率模型^[2]。它背后的建模问题是：怎样给一篇文档一个紧凑而具有统计意义的描述。LDA 的回答是用主题上的概率来描述文档——在文本建模中，主题概率给出了文档的一种显式表示^[2]。这里的「主题」不是从外部贴上的标签，而是模型从语料本身归纳出来的词的共现模式。

模型怎么搭起来

LDA 是一个三层的贝叶斯层级模型（hierarchical Bayesian model），集合中的每一项被建模为对一组潜在主题的有限混合（finite mixture）^[2]。层次从整个集合，到单篇文档，再到实际观察到的词。因为文档是混合而不是属于某一类，它可以按不同比例同时涉及多个主题，这些比例就是模型输出的东西。名字里的「狄利克雷」指的是常用于「非负且加起来等于 1」这类量的分布，而一组混合比例正是这样的量。

推断与估计

在这样的模型里，人们想要的东西——每个词来自哪个主题、各主题以什么比例进入一篇文档——都是隐含的。论文走的是近似路线：作者给出基于变分方法（variational methods）的高效近似推断技术，以及用于经验贝叶斯参数估计的 EM 算法^[2]。变分方法用一个更简单的分布族替代难以直接处理的后验，再在这个分布族内寻找最接近真实后验的成员；EM 算法则在「按当前参数估计隐含结构」和「按该估计更新参数」之间交替。两者合起来，使模型参数可以从数据中估计出来，而不必由人手工设定。

结果

论文报告了在文档建模、文本分类和协同过滤（collaborative filtering）三类任务上的结果，并与一元混合模型（mixture of unigrams）和概率潜在语义索引（probabilistic LSI）做了比较^[2]。三类相当不同的任务由同一个模型承担：同一套「主题上的混合」描述，既可以用来概括文档，也可以作为分类所用的特征，还可以用来补全评分矩阵中的缺失项。

发表

《机器学习研究杂志》（Journal of Machine Learning Research）第 3 卷把 David M. Blei、Andrew Y. Ng 和 Michael I. Jordan 的这篇论文列为 3(Jan):993-1022, 2003^[1]。论文中 Blei 与 Jordan 的署名单位是加州大学伯克利分校，Ng 在斯坦福大学，编辑为 John Lafferty^[2]。同一卷还收录了 Bengio、Ducharme、Vincent 和 Jauvin 的《神经概率语言模型》（A Neural Probabilistic Language Model），列为 3(Feb):1137-1155, 2003^[1]。

为什么重要

重要性落在两件事上。一是表示：主题概率给了文档一个显式的描述，而不是把它当成一袋不加区分的词^[2]。二是计算：变分近似推断与经验贝叶斯的 EM 估计，使这样一个三层层级模型真正能被拟合出来^[2]。又因为模型针对的是一般的离散数据集合而不限于文本，同一套方法可以搬到其他类型的计数数据上，这也是论文把协同过滤与文本任务并列报告的原因之一^[2]。