Deep Speech：端到端语音识别的规模化

要解决的问题

传统语音识别（speech recognition）系统由大量人工设计的处理流程拼接而成。Deep Speech 的作者把这种系统描述为构建起来费时费力，并且指出它在噪声环境中往往表现不佳。^[1] 这类流程把语音识别拆成多个阶段，每个阶段处理问题的一部分，背景噪声、混响（reverberation）和说话人差异都需要工程师单独设计模块。论文提出的思路不同：不再把识别任务交给一串分别设计的部件，而是让一个学习得到的系统直接把语音映射成文字。^[1]

端到端系统

Deep Speech 给出一个用端到端（end-to-end）深度学习（deep learning）构建的语音识别系统。作者称其架构比传统系统简单得多。^[1] 系统不需要手工设计的部件来建模背景噪声、混响或说话人变化，而是直接学习一个对这些影响稳健的函数。^[1] 它既不需要音素（phoneme）词典，也不需要音素这个概念。^[1] 这是它与传统流程的关键区别：模型不再依赖预先构建的音素清单，而是把从声音到识别结果的映射作为一个整体来学习。这样一来，许多原本要由工程师指定的部件，变成了网络自己学习的内容，系统设计也因此更简单。^[1]

怎么训练

这一方法依赖一套经过良好优化的循环神经网络（recurrent neural network）训练系统，并且使用多个图形处理器（GPU）。^[1] 循环网络按时间顺序处理序列，并在内部保留状态，因此适合处理随时间展开的语音信号。论文的系统依靠这类序列模型，也依靠能让多块 GPU 协同工作的训练基础设施。^[1] 作者还描述了数据合成（data synthesis）技术，用来获得大量、多样的训练数据。^[1] 这意味着训练数据不必完全依赖固定的人工采集集合，而可以加入生成出来的变化。模型要从数据中学会对噪声、混响和说话人差异保持稳健，而不是靠人工规则去处理这些变化，因此数据规模和多样性就很关键。^[1]

意义

Deep Speech 于2014年12月17日首次提交到 arXiv，编号为1412.5567。^[1] 作者名单共有11人，从 Awni Hannun 到 Andrew Y. Ng。^[1] 论文的重要性在于它给出的方向：把语音识别当作端到端学习问题，去掉音素词典和音素概念，也去掉针对声学变化的手工模块。^[1] 它同时把这一方向与一套训练方案联系起来：优化过的循环网络、多块 GPU 以及合成数据。^[1] 换句话说，论文主张用计算和数据的规模，替代传统流程中的一部分手工工程。它没有把噪声、混响和说话人差异分别交给人工设计的部件，而是让模型自己学习对这些变化稳健的函数；它也不要求系统先有音素这一层表示。^[1] 这些主张构成了论文对语音识别系统设计的核心贡献。