Sequence to Sequence Learning with Neural Networks（用神经网络做序列到序列学习）

论文概况

《Sequence to Sequence Learning with Neural Networks》于 2014 年 9 月 10 日提交至 arXiv，作者为谷歌的 Ilya Sutskever、Oriol Vinyals 与 Quoc V. Le，并发表于 NIPS 2014。^[1][2]

要解决的问题

深度神经网络在有大量标注数据时表现很好，但不能直接把一个输入序列映射为长度不同的输出序列。翻译正是这种情况：英文句子与对应的法文句子词数往往不同，词序也不一样。^[1]

怎么做的

方法的结构很简单：一个多层 LSTM 把输入句子读成一个固定长度的向量，第二个深层 LSTM 再从这个向量生成输出句子，对序列结构几乎不做假设。^[2] 比如，英文句子「I love you」被读入后，解码器就能逐词写出对应的法语。

模型与训练

模型使用 4 层 LSTM，每层 1,000 个单元，词嵌入维度为 1,000，输入词表 16 万词，输出词表 8 万词，共约 3.84 亿参数。^[1] 训练数据是 WMT'14 英法数据集中的 1200 万句子子集（含法语约 3.48 亿词、英语约 3.04 亿词）。在一台 8 块 GPU 的机器上训练约十天，每块 GPU 放一层 LSTM，另外 4 块 GPU 用来计算 softmax。^[2]

结果

一组 5 个深层 LSTM 的集成模型得分为 34.81 BLEU（一种用参考译文评估机器翻译的指标，越高越好），基于短语的统计基线为 33.30。这是纯神经网络翻译系统第一次在大规模任务上超过基于短语的基线。用 LSTM 对基线的 1,000 个最佳候选译文重新排序，得分达到 36.5，接近当时公布的最好成绩 37.0。^[2]

另一个简单技巧是把源句的词序反转（目标句不变）。这使单个模型的困惑度（perplexity）从 5.8 降到 4.7，BLEU 从 25.9 提升到 30.6。作者把这一效果归因于反转后源词与目标词之间产生了许多短距离依赖。^[2] 模型对长句的处理也很好，学到的句子表示对词序敏感。^[2]

影响

这篇论文表明，一个端到端训练的神经网络就能在大规模翻译基准上与传统系统竞争。它提出的编码器-解码器架构，成为许多后续翻译模型的基础。NeurIPS 2024 时间检验奖与 GAN 论文共享此奖，公告称该论文引用超过 2.7 万次，是奠定编码器-解码器架构的基石，并启发了后来基于注意力的工作，进而导向今天的基础模型。^[3]