NIPS 2010 深度学习与无监督特征学习研讨会

背景

NIPS 2010 深度学习与无监督特征学习研讨会（NIPS 2010 Workshop on Deep Learning and Unsupervised Feature Learning）属于一系列讨论如何从无标注数据中学习特征的会议。它的标题点出两个主题：深度学习与无监督特征学习。在语音识别中，这些想法被用来构建声学模型，也就是识别系统里把音频映射为音素或其他声音单元的部分。2009 年还举办过 NIPS Workshop on Deep Learning for Speech Recognition and Related Applications；Hinton、Osindero 和 Teh 在 2006 年发表的深度信念网络快速学习算法论文也出现在同一条引用脉络中^[2]。这些引用把 2010 年的研讨会放在更早的深度信念网络工作和一次语音专题研讨会之后。

发生了什么

在 NIPS 2010 上，这场研讨会为深度模型与无监督特征学习结合的工作提供了一个专门场合。Yu、Deng 和 Dahl 的论文《Roles of pre-training and fine-tuning in context-dependent DBN-HMMs for real-world speech recognition》发表在研讨会上^[1]。标题里有三个要素：预训练（pre-training）、微调（fine-tuning），以及上下文相关的 DBN-HMM 声学模型。同一届 NIPS 2010 还有一篇主会议论文《Phone recognition with the mean-covariance restricted Boltzmann Machine》，于 2010 年 12 月 6 日发表^[2]。这篇论文研究用均值-协方差受限玻尔兹曼机（restricted Boltzmann machine, RBM）做音素识别，说明基于 RBM 的声学建模不只出现在研讨会里，也出现在 NIPS 2010 的主会议程序中。

关键细节

隐马尔可夫模型（hidden Markov model, HMM）为语音提供序列模型：它描述声音单元如何随时间先后出现。深度信念网络（deep belief network, DBN）由多层随机单元堆叠而成，可以逐层训练。在 DBN-HMM 中，深度网络帮助估计声学证据，HMM 负责处理序列。上下文相关建模让建模单元比单个音素更具体：它可以表示某个音素在相邻声音环境中的情况。预训练用无标注数据初始化深度模型，微调再让模型适应有标注的识别任务。研讨会论文的标题把这两个阶段的作用作为明确主题，并放在真实场景语音识别中讨论^[1]。

引用脉络

IEEE/CAA 的参考文献列表把这篇研讨会论文与后来的期刊工作连接起来。它引用了 Dahl、Yu、Deng 和 Acero 在 2012 年发表于 IEEE Transactions on Audio Speech and Language Processing 的论文，主题是用于大词汇量语音识别的上下文相关预训练深度神经网络^[1]。它还引用了 Hinton、Deng、Yu、Dahl、Mohamed、Jaitly、Senior、Vanhoucke、Nguyen、Sainath 和 Kingsbury 在 2012 年发表于 IEEE Signal Processing Magazine 的论文，主题是语音识别中的声学建模深度神经网络，文中称为四个研究组的共同观点^[1]。第三项后续工作是 Seide、Li 和 Yu 在 Interspeech 2011 上关于用上下文相关深度神经网络做对话语音转写的论文^[1]。这些不是研讨会论文，但它们说明研讨会上讨论的词汇和方法继续出现在同行评议的场合中。

为什么重要

这场研讨会的意义在于它是一个汇合点。引用脉络从 2006 年深度信念网络的快速学习算法，连到 2009 年的语音专题 NIPS 研讨会，再到 2010 年的这场研讨会和 NIPS 2010 主会议上用均值-协方差 RBM 做音素识别的论文，然后连到 2011 年 Interspeech 论文和 2012 年 IEEE 期刊论文^[1][2]。这条脉络记录了预训练和微调如何被用于语音识别的讨论，也记录了无监督特征学习和 RBM 如何与音素识别联系起来。对普通读者来说，这个事件是一个窗口，可以看到深度网络被改造用于一个困难的序列问题的时刻：研讨会论文、会议论文和期刊论文构成了一份相互连接的记录。