微软研究院深度神经网络语音识别突破

背景

传统的大词汇量语音识别系统由两类统计模型配合完成：隐马尔可夫模型（hidden Markov model，HMM）描述声音在时间上的变化，高斯混合模型（Gaussian mixture model，GMM）给每一小段音频打分，判断它有多像某个状态。由于相邻的音会互相影响，系统通常使用上下文相关（context-dependent）的状态；为了控制规模，这些状态又会被合并成称为 senone 的绑定状态。这类 CD-GMM-HMM 系统经过判别式训练后，是很强的基线。

Interspeech 2011 上报告的工作

2011 年 8 月 28 日至 31 日，Interspeech 2011 在佛罗伦萨举行，微软研究院在会上报告了一项它称为研究突破的工作，即把人工神经网络用于大词汇量语音识别 ^[1]。按微软研究院的说法，这项工作由微软研究院雷德蒙德（Redmond）的 Dong Yu 和微软亚洲研究院（Microsoft Research Asia）的 Frank Seide 主导，多伦多大学（University of Toronto）的实习生 George Dahl 于 2010 年 6 月加入团队 ^[1]。

团队并没有把神经网络当作一个附加的小模块，而是提出用深度神经网络直接对数千个 senone 建模，由此得到首个成功应用于大词汇量语音识别的混合上下文相关 DNN-HMM 模型 ^[1]。在这种混合结构里，神经网络取代高斯混合模型充当声学打分器，状态序列仍由 HMM 处理，语言模型继续约束可能的词序列，因此识别器的解码部分可以沿用。为了让实验跑得动，团队用通用图形处理器（general-purpose graphics processing unit，GPU）来训练和解码语音 ^[1]。

结果

在一项语音搜索（voice search）任务上，微软研究院报告相对错误率比当时最好的传统 CD-GMM-HMM 系统降低超过 16% ^[1]。Interspeech 2011 的论文由 Frank Seide、Gang Li 和 Dong Yu 撰写，把 CD-DNN-HMM 应用到 Switchboard 电话对话转写基准上 ^[2]。论文报告词错误率从判别式训练的高斯混合 HMM 的 27.4% 降到 18.5%，相对改进 33%；训练数据超过 300 小时，绑定状态超过 9000 个，隐藏层最多 9 层 ^[2]。同一篇论文还报告，在 4 个匹配程度较低（less well-matched）的转写任务上，相对错误率降低 22%–28% ^[2]。

两个数字来自不同设置：16% 是语音搜索任务上相对传统系统的改进，33% 是 Switchboard 上词错误率的相对改进 ^[1][2]。

为什么重要

第一是幅度。在一个公开的对话转写基准上，词错误率从 27.4% 降到 18.5%，变化相当大；而在 4 个匹配较差的任务上仍有 22%–28% 的相对降低，说明收益不只出现在某个精心调整过的条件下 ^[2]。

第二是工程上的贴合度。由于深度神经网络只替换了声学打分这一环，这种混合设计可以直接放进已有的基于 HMM 的解码器，而不必另造一套识别器；GPU 则让训练和反复实验变得负担得起 ^[1]。对一个长期围绕高斯混合模型搭建系统的领域来说，这表明深度网络能够在大词汇量场景下承担声学建模，而流程的其他部分可以原地保留。