用深度循环神经网络做语音识别

要解决的问题

语音识别要做的事，是把一段录音变成一串词。这对普通分类器很不友好：输出序列比输入短得多，而训练数据通常不会告诉你哪一段音频对应哪一个音，也就是所谓的「对齐未知」。于是系统往往要先额外猜出对齐关系，才能开始分类。

论文把这个替代方案写成了一句话：连接时序分类（connectionist temporal classification，CTC）这类端到端训练方法，使得循环神经网络可以被训练来解决输入输出对齐未知的序列标注问题 ^[1]。CTC 的做法是让网络在每一步输出一个标签或一个空白符，再把所有能与目标序列对上的排列方式加起来。这样没有人需要手工标出边界，对齐在训练过程中被边缘化掉了。

做法

论文考察的是深度循环神经网络。循环网络一次读入一步输入，并把隐藏状态向前传递，因此较早帧里的信息可以影响很久之后才做出的判断；作者把这一点称为循环网络所具备的灵活利用长程上下文的能力 ^[1]。把这样的网络做深，就是堆叠多层，让高层构建出更抽象的信号表示——这正是深度前馈网络奏效的原因。论文把自己研究的对象描述为两件事的结合：深度网络中已被证明有效的多层次表示，加上循环网络提供的长程上下文 ^[1]。

作者倚重的循环架构是长短期记忆（long short-term memory，LSTM），它在每一步用门来决定保留什么、写入什么、输出什么。朴素循环网络容易在长跨度上丢失信息，门控给了它把信息留住的手段。

出发时的状况

论文对循环网络的处境说得很直白：在语音识别上，循环网络的表现到此为止是令人失望的，深度前馈网络给出了更好的结果 ^[1]。手写识别则是另一番景象——把端到端方法与长短期记忆架构结合起来，曾在草书手写识别上取得当时最好的结果 ^[1]。语音实验正是以此为背景展开的：一套在某个序列问题上奏效的配方，拿到更难的问题上试一试。

意义

这篇论文的贡献，与其说在结果，不如说在提出问题的方式。它把三条线索——深度架构、循环架构、端到端序列训练——放进同一个框架，问的是把它们合起来而非分开用会怎样。如果这套配方成立，那么主导语音识别的那些手工搭建的环节，尤其是把音频强行对齐到子词单元这一步，就不再是必需的：网络可以直接从音频与转写的配对中训练，自己去学出对应关系。

代价也是真实的。端到端训练把工作量从工程转移到了数据和算力上，因为模型必须自己发现原本由流水线提供的对齐；而要让循环网络深到足以构建好的表示，算力负担还会更重。

这篇题为《Speech Recognition with Deep Recurrent Neural Networks》的论文由 Alex Graves、Abdel-rahman Mohamed 和 Geoffrey Hinton 三人撰写，2013 年 3 月 22 日发布在 arXiv 上 ^[1]。