使用均值-协方差受限玻尔兹曼机进行音素识别

概况

论文《使用均值-协方差受限玻尔兹曼机进行音素识别》由 George E. Dahl、Marc'Aurelio Ranzato、Abdel-rahman Mohamed 和 Geoffrey Hinton 撰写，发表于 NIPS 2010 第1卷，第469至477页，出版日期为2010年12月6日^[1]。论文研究如何用深度信念网络（Deep Belief Nets, DBN）和均值-协方差受限玻尔兹曼机（mean-covariance restricted Boltzmann machine, mcRBM）进行声学建模，并用于音素识别^[1]。

要解决的问题

音素识别任务是为语音片段分配音素标签。声学建模的关键之一，是找到一种能有效表示声学输入的内部表示。论文摘要指出，把 DBN 直接用于声学建模，可以产生语音数据的丰富分布式表示，并在说话人无关的 TIMIT 音素识别任务上取得显著结果^[1]。论文因此关注声学模型本身，以及模型如何从输入中构造表示。

方法

DBN 由多层受限玻尔兹曼机（restricted Boltzmann machine, RBM）堆叠而成。RBM 是一种两层概率模型，包含可见单元和隐藏单元，可以学习输入数据的概率分布；把多层 RBM 堆叠起来，模型就能形成逐层的特征表示。论文中的第一层高斯-伯努利 RBM 在给定隐藏状态时，把声学输入向量的不同分量视为条件独立^[1]。这是一个建模选择：隐藏状态确定后，该层不显式建模各可见分量之间的依赖。

论文还使用了 mcRBM。摘要说明，mcRBM 最初是为自然图像建模提出的，它能为语音数据的协方差结构提供更具表示效率的建模方式^[1]。也就是说，这一部分不是只把输入各分量当作彼此独立，而是建模它们如何一起变化。论文报告的系统把 mcRBM 特征与 DBN 结合起来^[1]。

结果

在说话人无关的 TIMIT 音素识别任务上，mcRBM 特征与 DBN 结合后达到20.5%的音素错误率；摘要称这一结果优于当时该任务所有已发表结果^[1]。音素错误率表示被识别错误的音素所占比例，因此数值越低越好。

为什么重要

这篇论文给出了一个具体例子：深度信念网络可以直接用于声学建模，产生语音数据的分布式表示，并在基准任务上得到较强结果^[1]。它把无监督的 RBM 特征学习与有监督的音素识别联系起来。对语音识别而言，值得注意的不只是最终错误率，还有表示本身：模型从声学输入中学习隐藏结构，论文再在音素识别任务上评价这种表示^[1]。

相关工作

论文的 ACM 参考文献列表收录了 Mohamed、Dahl 和 Hinton 的《Deep belief networks for phone recognition》，该文发表于2009年 NIPS 深度学习用于语音识别及相关应用研讨会^[1]。IEEE/CAA 的参考文献列表则收录了 Yu、Deng 和 Dahl 的《Roles of pre-training and fine-tuning in context-dependent DBN-HMMs for real-world speech recognition》，发表于 NIPS 2010 深度学习与无监督特征学习研讨会^[2]。这些工作共同构成 DBN 声学模型以及预训练、微调如何影响识别的研究脉络。