Neural Machine Translation by Jointly Learning to Align and Translate（联合学习对齐与翻译的神经机器翻译）

论文概况

《Neural Machine Translation by Jointly Learning to Align and Translate》于 2014 年 9 月 1 日提交至 arXiv，作者为不来梅雅各布大学（Jacobs University Bremen）的 Dzmitry Bahdanau，以及蒙特利尔大学的 Kyunghyun Cho 与 Yoshua Bengio。论文被 ICLR 2015 接收，并以口头报告形式发表。^[1]

要解决的问题

当时的编码器-解码器翻译模型，要把整句源文压缩成一个固定长度的向量，作者称之为瓶颈。基本编码器-解码器的性能随句子变长而迅速下降。^[1] 这好比听完一段长文的一句话概要，就要去翻译全文。

怎么做的

解决办法是注意力（attention）。模型每生成一个目标词，都会在源句中软性搜索最相关的位置，再根据专为该词构建的上下文向量来预测这个词。^[1] 上下文向量是所有源词「标注」（annotation）的加权和，权重来自一个与模型其他部分联合训练的对齐模型。^[1] 例如，生成法语中对应「cat」的词时，模型会给英文的「cat」分配较大的权重。

编码器是双向 RNN，由一个前向 RNN 和一个后向 RNN 组成，各含 1,000 个隐藏单元，因此每个词的标注同时概括了它前后的词。^[1]

数据、结果与影响

训练数据是 WMT'14 英法平行语料，总计 8.5 亿词，经数据筛选后保留 3.48 亿词；每个模型训练约 5 天。^[1] 在测试集上，注意力模型 RNNsearch-50 得分 26.75 BLEU，普通编码器-解码器 RNNencdec-50 为 17.82。训练更久的 RNNsearch-50 得分 28.45，在不含未知词的句子上为 36.15，而基于短语的 Moses 系统为 35.63。^[1] 论文还报告，RNNsearch-50 在 50 词及以上的句子上也没有性能下滑，学到的法英词对齐也符合语言学直觉。^[1]

这一思路消除了单一向量的瓶颈：模型在任一步都能回看源句的任何部分，学到的对齐关系也便于检查。ICLR 2025 时间检验奖中，该论文获得亚军，冠军是 Adam 论文。组织者称，它从根本上改变了序列到序列模型处理信息的方式，并成为 Transformer 与大语言模型（large language model）的基础之一。^[2]