WaveNet：原始音频生成模型

直接生成原始波形的网络

声音以波形（waveform）的形式保存时，就是一长串数字：一秒钟的音频里可以有数万个采样点^[1]。WaveNet 是一个深度神经网络，要生成的就是这样的原始音频波形，而不是某种中间表示^[1]。论文《WaveNet: A Generative Model for Raw Audio》于 2016 年 9 月 12 日首次提交到 arXiv^[1]。作者共九人，名单从 Aaron van den Oord、Sander Dieleman 一直到 Andrew Senior 和 Koray Kavukcuoglu^[1]。

一个采样点一个采样点地建模

模型是完全概率化（probabilistic）且自回归（autoregressive）的：它为每个音频采样点给出一个概率分布，而这个分布以它之前的全部采样点为条件^[1]。生成过程由此而来：先把一段音频交给网络，问它下一个采样点的分布，从这个分布里抽一个值，把值接到输入后面，再问下一个。因为模型描述的是分布而不是某个固定的输出，每次抽样得到的声音都不相同。

难点在规模。一秒钟音频有数万个采样点，自回归模型每生成一秒声音就要做数万次预测。作者证明，即使数据以这样的速率给出，模型仍然可以高效地训练^[1]。

语音合成

把模型用于文本转语音（text-to-speech）时，它达到了当时最好的水平：在英语和中文上，人类听者认为它比最好的参数式（parametric）与拼接式（concatenative）系统明显更自然^[1]。这两类旧方法的路子不同：参数式系统用一小套声学参数合成语音，拼接式系统把短语音单元的录音拼接起来；两者都分多步生成，中间要经过人工设计的表示。WaveNet 直接生成波形本身。

单个 WaveNet 还能刻画许多说话人的特征，并通过以说话人身份为条件在它们之间切换^[1]。也就是说，一个模型里装着许多把声音，最终输出哪一把是作为输入喂给网络的，而不必为每个说话人单独做一套系统。

音乐与识别

以音乐训练后，模型能生成新颖且往往相当逼真的音乐片段^[1]。作者还展示了它可以作为判别式模型用于音素识别（phoneme recognition）^[1]：同一类网络，既能生成音频，也能被训练来判断音频里有什么。

意义

这篇论文的贡献在于说明：单一的生成模型可以直接工作在波形上，细到单个采样点，而生成的语音在听者那里仍然优于既有系统的输出^[1]。它把几件事放进了同一个框架：语音合成、音乐生成和音素识别用的是同一类模型；一个模型可以覆盖多个说话人；概率化的自回归建模在这种数据密度下依然可以训练^[1]。其结果是给出一个明确的示范：生成模型要学习预测的对象，可以是波形本身，而不必是一层人工搭起来的中间产物。