Long Short-Term Memory（长短期记忆网络）

论文概况

《Long Short-Term Memory》于 1997 年 11 月发表在《Neural Computation》第 9 卷第 8 期，作者是慕尼黑工业大学的 Sepp Hochreiter 与瑞士卢加诺 IDSIA 研究所的 Jürgen Schmidhuber。^[1]

要解决的问题

用时间反向传播（backpropagation through time）或实时循环学习训练的循环网络，有一个严重缺陷：误差沿时间回传时容易爆炸或消失，因此网络要么学得极慢，要么无法学会在长时间间隔中保存信息。论文回顾了 Hochreiter 在 1991 年对这一问题的分析。^[1]

怎么做的

核心是一条「恒定误差传送带」（constant error carousel），它让误差沿时间回传时既不爆炸也不消失。^[1] 单元还配有乘法门：输入门保护记忆内容不受无关输入干扰，输出门防止已存储的无关内容影响其他单元，门的开闭由网络自己学习。^[1] 可以把它想象成带门的传送带：信息随传送带原样前行，门决定什么被装上、什么被卸下。

结果

LSTM 能跨越超过 1,000 个离散时间步的最短时间间隔，即使输入有噪声且无法压缩，也仍能处理短间隔。每个时间步、每个权重的计算成本是常数。^[1] 在人工数据实验中，LSTM 的成功次数远多于实时循环学习、时间反向传播、递归级联相关（recurrent cascade-correlation）、Elman 网络和神经序列分块等方法，学习也快得多，并解决了此前循环网络算法都无法解决的长时间间隔任务。^[1]

为什么重要

这篇论文通过改变记忆单元的结构，而不只是改变训练方式，使跨越长时间间隔的学习成为可能。它为文本、语音等序列任务提供了实用工具，这一设计在后来的许多模型中被沿用和扩展。^[1]

后来的影响

2000 年，Gers、Schmidhuber 与 Cummins 加入了遗忘门（forget gate），使单元能在连续的输入流上学会重置状态。^[2] 深度 LSTM 随后推动了神经机器翻译，包括 2014 年 Sutskever、Vinyals 与 Le 提出的序列到序列模型，以及谷歌 2016 年的 GNMT 系统，后者使用了 8 层编码器和 8 层解码器 LSTM。^[3][4]

2017 年的 Transformer 论文在开篇引用了 LSTM，认为它是序列建模中已经确立的最先进方法，随后用注意力（attention）取代了循环结构。^[5]