深度神经网络声学建模

声学建模是语音识别系统里判断一小段声音对应哪个音素或子音素单元的部分。深度神经网络声学建模用多层网络从数据中学习这种映射，而不是只依赖手工特征和浅层分类器；目标是得到既能把不同语音类别分开、又保留识别所需信息的表示。

2010 年 NIPS 的论文指出，把深度信念网络（Deep Belief Net，DBN）用于声学建模，可以得到对识别有用的、丰富的分布式表示 ^[1]。深度信念网络由多层受限玻尔兹曼机（restricted Boltzmann machine，RBM）堆叠而成。论文中的第一层是高斯-伯努利 RBM（Gaussian-Bernoulli RBM）：在给定隐藏状态时，它把声学输入向量的不同分量视为条件独立 ^[1]。这样一层可以用连续值处理声学特征，同时保留二值的隐藏层。

论文还使用均值-协方差 RBM（mean-covariance RBM，mcRBM）。语音特征各维之间往往存在相关性，协方差结构描述这种分布的形状和相关关系。mcRBM 更高效地建模语音数据的协方差结构；它的精度单元（precision units）每一种配置都指定一个不同的精度矩阵 ^[1]。在识别流程中，这些特征可以送入分类器，也可以和 DBN 特征组合使用。

结果方面，论文报告：在说话人无关的 TIMIT 音素识别任务上，把 mcRBM 特征与 DBN 结合，音素错误率为 20.5% ^[1]。这个数字是特征学习方法的一个具体基准，说明学到的表示能支撑音素识别；同时也说明任务仍然有相当难度。

从来源看，这条路线把声学建模当作表示学习问题。IEEE/CAA 的参考文献列表收录了 NIPS 2010 研讨会的《Roles of pre-training and fine-tuning in context-dependent DBN-HMMs for real-world speech recognition》，讨论上下文相关 DBN-HMM 在真实语音识别中的预训练和微调作用 ^[2]。同一参考文献列表还收录了 Hinton 等人 2012 年的综述《Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups》，以及 Dahl 等人 2012 年关于大词汇量语音识别中上下文相关预训练深度神经网络的论文 ^[2]。这些文献把 2010 年的特征学习工作与上下文相关建模、预训练、微调和大词汇量识别联系起来。

局限方面，已报告的评价是说话人无关 TIMIT 上的音素识别，错误率为 20.5% ^[1]。要走向真实语音识别，需要处理上下文相关单元，并配合预训练、微调等训练策略 ^[2]。方法效果也取决于 RBM 层对输入分布的建模：高斯-伯努利层在给定隐藏状态时假设输入分量条件独立，mcRBM 则把建模重点放在协方差结构上 ^[1]。这些都是具体的建模选择。