DeepMind 发布原始音频生成模型 WaveNet

背景

把文字转成语音通常分几步完成，最后一步是把某种抽象的声学表示变成真正的声音波形。这一步传统上有两类做法：拼接式合成（concatenative synthesis）把事先录好的人声片段拼接成一句话；参数式合成（parametric synthesis）生成一组紧凑的声学参数，再用声码器（vocoder）把这些参数变成声音。Google 当时两类系统都有，DeepMind 后来公布的对比，针对的正是 Google 最好的拼接式和参数式语音合成系统^[1]。

原始音频是另一回事。波形本质上是一长串数字，而原始音频通常每秒有 16000 个采样点甚至更多^[1]。要让模型直接生成波形，就得把这串数字里的每一个都定下来，而不是从预先录好的单元里挑选。

发布

2016 年 9 月 8 日，DeepMind 公布了 WaveNet，一个用于生成原始音频波形的深度神经网络^[1]。配套的博客文章把 WaveNet 称作全卷积网络（fully convolutional network）^[1]，也就是整个网络由卷积层构成——卷积层用一个小小的、可学习的滤波器在输入上滑动。这个模型依据之前的采样点，一次预测一个采样点^[1]。

生成方式

WaveNet 是一个自回归（autoregressive）模型：给它前面已有的采样点，它给出对下一个采样点的预测；这个采样点再被送回输入，过程如此重复。因为预测直接发生在采样点上，同一套机制可以用于任何波形，而不必依赖手工设计的中间表示。代价是序列很长：按每秒 16000 个采样点算，一秒钟的音频就要做 16000 次前后相继的预测，每一次都依赖此前全部内容，因此如何让计算变得可行，是这类架构必须回答的核心工程问题^[1]。

结果

DeepMind 报告了在美国英语和普通话上进行的盲听测试，WaveNet 击败了 Google 最好的拼接式和参数式语音合成系统^[1]。DeepMind 还表示，在美国英语和普通话上，它把与人声质量之间的差距缩小了 50% 以上^[1]。这里衡量的其实是距离人声还有多远，而按照该公司的说法，这个差距在两种语言上都减少了一半以上。

论文与后续

技术论文《WaveNet: A Generative Model for Raw Audio》在 arXiv 上的日期是 2016 年 9 月 12 日^[2]。此后让模型变快的工作继续推进，2017 年 10 月，一个快得多的版本开始为 Google Assistant 生成语音^[2]，模型由此从一项研究结果变成用户真会听到的产品部件。

意义

有两点值得注意。第一，WaveNet 把波形的生成交给了网络本身：模型不再从预先录好的片段里挑选，而是一个采样点一个采样点地产生声音^[1]。第二，这条路线没有停留在论文里，一年之后更快的版本已经在被广泛使用的助理里发声^[2]。对语音合成来说，这立起了一条不同的路径：与其重新拼装录音，不如让模型直接生成音频。