深度神经网络用于语音识别声学建模：四个研究组的共同观点

2012年10月，IEEE《信号处理杂志》（IEEE Signal Processing Magazine）第29卷第6期刊登了 Geoffrey Hinton、Li Deng、Dong Yu、George E. Dahl、Abdel-rahman Mohamed、Navdeep Jaitly、Andrew Senior、Vincent Vanhoucke、Patrick Nguyen、Tara N. Sainath 与 Brian Kingsbury 合写的文章《深度神经网络用于语音识别声学建模：四个研究组的共同观点》，文章位于第82至97页。^[1]

当时的标准做法

当时大多数语音识别系统把这个问题的处理分成两部分。隐马尔可夫模型（hidden Markov model, HMM）负责应付语音在时间上的变化——一句话是一串依次出现的发音单元，模型要随着信号推进判断当前处在哪一个单元——而高斯混合模型（Gaussian mixture model, GMM）负责判断这个序列中的每一个状态与一帧、或者一小段连续帧的吻合程度。^[1] 这里的一帧，指的是从语音信号中截取一小段、再算出一组系数所得到的向量；混合模型为每个候选状态给出一个分数，识别程序再在所有可能的序列里找出总分最高的那一条，据此给出词序列。

文章提出的替代方案

作者们描述了另一种做法：用一个前馈神经网络（feed-forward neural network），输入是若干帧系数，输出是对隐马尔可夫模型各状态的后验概率（posterior probability）。^[1] 换句话说，不再让一组高斯分布去衡量一段语音在某个状态下有多合理，而是把连续若干帧拼成一个输入向量交给网络，由网络对每一个状态给出一个概率。网络是前馈的，信息只沿一个方向从输入经过隐层流向输出；一次输入若干帧，则让每个判断都带着若干帧的上下文，而不是只看当下这一帧。

结果显示的差距

文章指出，拥有多个隐层的深度神经网络（deep neural network），配合新的训练方法，已经在多项语音识别基准（benchmark）上被证明优于高斯混合模型，有时领先幅度很大。^[1] 重点在「深」：每一个隐层都在下一层的输出之上再算出一种新的表示，层数多了，网络就能一步步搭出更抽象的描述，而不必依赖一层相对浅的映射。文章把效果归因于两个因素——许多隐层，以及让这样的网络能够训练起来的新方法。

四个研究组

这篇文章并不是某一个系统的介绍。它汇集的是四个研究组的共同观点，而这四个组此前不久都在语音识别的声学建模（acoustic modeling）上成功用起了深度神经网络。^[1] 把四份经验放在一起，作者们得以描述一套共同的做法——输入若干帧，输出状态后验概率，用新方法训练深层网络——而不是分别叙述四个实验。

为什么重要

文章所作的比较落在系统的某一个部件上：给帧与状态打分的那个声学模型。由于网络输出的仍然是对隐马尔可夫模型状态的概率，识别器其余的部分，也就是对状态序列与词序列的搜索，并不需要换掉。^[1] 这也正是这套论证容易推行的原因：它主张的不是把语音识别推倒重来，而是把其中的打分模型换成一个深度网络，并且这个网络已经在多项基准上与它所要取代的模型做过比较，有时领先幅度还很大。^[1]