谷歌神经机器翻译系统：弥合人与机器翻译的差距

论文要解决的问题

这篇论文题为《谷歌神经机器翻译系统：弥合人与机器翻译的差距》（Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation），2016 年 9 月 26 日首次提交到 arXiv，编号 1609.08144^[1]。它介绍的是谷歌围绕神经机器翻译（neural machine translation）搭建的系统 GNMT，标题把目标说得很直接：缩小机器译文与人工译文之间的距离^[1]。

神经机器翻译与传统统计方法的不同之处在于端到端（end-to-end）：不再分对齐、短语表、重排序等若干独立环节，而是由一个网络读入源语言句子、直接输出译文。论文同时明确指出了这种简洁的代价——这类系统无论训练还是推理都算力开销很大，而且多数系统对付不了罕见词^[1]。成本与词表这两个问题，构成了全文大部分工作的出发点。

网络结构

GNMT 是一个深层 LSTM（long short-term memory）网络，编码器和解码器各有 8 层，并使用了注意力机制（attention）与残差连接（residual connection）^[1]。LSTM 是一种循环网络，逐个读入序列中的元素并维护一个内部状态，因此能把句子前后的信息带下去。在编码器—解码器结构中，编码器把源语言句子读成这个状态，解码器再逐词生成译文。

这样的深度并不是白来的。残差连接把某一层的输入加到它的输出上，为梯度提供一条短路径，使很深的网络在实践中能够训练起来。注意力机制则让解码器在生成每个词时回看编码器对源句的表示，而不是把整句话压缩成一个固定向量。

论文中有一处设计专门针对速度：为了提高并行度，注意力机制把解码器的最底层与编码器的最高层连接起来^[1]。注意力通常加在解码器栈的顶端，这意味着解码器几乎要算到最后，注意力这一步才能开始；把连接放在底层缩短了这种依赖，使更多计算可以同时进行。

罕见词与推理开销

词表问题通过改变翻译的单位来解决。系统不要求每个词都必须是固定词表中的一个符号，而是把词切分成一组数量有限的常用子词单元（sub-word unit）^[1]。高频词可能就是一个单元；罕见词或未登录词则由若干熟悉的片段拼出。这样模型只需在一个规模可控的单元集合里做选择，同时仍然能产出训练时从未整体见过的词。

推理开销则用数值精度来换。推理阶段采用低精度算术以加快翻译速度^[1]。翻译过程是大量矩阵运算的反复叠加，减少每个数占用的位数就减少了每一步的计算量；论文把这一手段用在翻译时，而不改变网络本身的结构。

为什么重要

论文作者超过十人，第一作者是 Yonghui Wu（吴永辉）^[1]。这个规模也说明它是怎样一篇论文：它不是提出某一个架构点子，而是把许多决策拼成一个完整系统，每一项都对着一个具体障碍。

它的意义在于对当时学科状态的判断方式。论文没有把端到端神经翻译说成只是受限于算力的雏形，而是逐条点出限制——训练贵、推理贵、罕见词处理弱、深层循环网络跑得不够快——并把每一条都当作可以用具体办法回应的工程问题：用残差连接支撑深度，把注意力放在有利于并行的位置，用子词单元处理词表，用低精度算术压低推理成本^[1]。今天回看，它记录的是神经机器翻译从研究上的新尝试转为被当作生产系统来描述的节点。