WaveNet

是什么

WaveNet 是 DeepMind 研发的一种原始音频波形的深度生成模型。它不依赖人工设计的声学表示，而是直接在波形上建模——这类音频通常每秒有 16000 个甚至更多采样点。^[1] 模型于 2016 年 9 月 8 日公布，论文由 Aäron van den Oord 担任第一作者，2016 年 9 月 12 日在 arXiv 上发布。^[1][2]

怎么工作

WaveNet 是一个全卷积网络（fully convolutional network），每个音频采样点都由它之前的采样点预测出来。^[1] 用这种方式生成声音，意味着每合成一秒音频就要做上万次预测，而网络还必须「记住」足够长的历史，才能让音高和音色保持连贯。它的卷积层使用不同的膨胀系数（dilation factor），使感受野（receptive field）随深度呈指数增长，从而覆盖数千个时间步。^[1] 于是层数不多的一叠卷积层也能「看到」很长一段波形，每个新采样点都建立在前面一长串采样点之上。

因为模型是逐个采样点地处理原始波形，它本身与语音无关：同一种模型可以学习任何音频，包括音乐。^[1] 同时，逐个生成采样点本质上是串行的，速度因此在任何实际部署中都是一个必须解决的问题。

结果

最早被广泛报道的结果来自文本转语音。在听感测试中，WaveNet 把此前最好水平与人类水平之间的差距，在美式英语和普通话上都缩小了 50% 以上。^[1] 这些分数来自盲听测试，由听者给自然度打分：美式英语得 4.21，人类语音为 4.55；普通话得 4.08，人类语音为 4.21。^[1][4] 差距已经很小——接近人类水平，但并未与之持平。

这套结构并不局限于人声。用古典钢琴曲训练后，它生成出了新的钢琴片段。^[1] 一个 WaveNet 模型还可以同时学习多种嗓音，而且用多个说话人训练反而改善了对单个说话人的建模。^[1]

从研究模型到产品

2017 年 10 月，Google 宣布性能提升 1000 倍，WaveNet 开始为 Google Assistant 生成美式英语和日语语音。^[2] 2018 年，Google 推出基于 WaveNet 的 Cloud Text-to-Speech，把它作为服务提供给开发者。^[3]

意义

WaveNet 之所以重要，在于它直接生成波形本身，一个采样点接一个采样点，而不需要在模型和音频之间再垫一层声音表示。同一个训练好的模型可以迁移到不同嗓音，也可以迁移到音乐，于是一种架构就覆盖了过去需要不同部件处理的情形。^[1] 它的膨胀卷积设计则让长感受野变得可负担：靠加深层数换取覆盖范围，同时仍能看到数千个时间步的上下文。^[1]

从论文到产品，这条路走得很短。发表后约一年，这个模型就在一个被广泛使用的助手里生成语音；约两年后，它又作为云服务对外开放。^[2][3] 对一个研究模型来说，这样直接进入日常使用并不常见，也正因如此，WaveNet 通常被视为「用神经网络生成原始音频」从演示变成可用工程方案的那一步。