是什么
循环神经网络（RNN）的连接会回路：某一步隐藏单元的活动会反馈到下一步，使网络对之前的输入保留一种动态的记忆。[1] 它适合处理按顺序到来的数据，例如句子中的词或语音中的声音，因为一个成分的含义往往取决于前面的内容。
怎么工作
以句子「the dog sat」为例：网络逐词读入，读完 the 和 dog 后，隐藏状态里保存了前文的摘要；读到 sat 时，它与新词结合，生成新的状态。每一步使用的连接权重是同一组，因此网络能处理不同长度的句子，但它对很久以前内容的记忆通常有限。
从哪来
Jeffrey Elman 在 1990 年 3 月的《Cognitive Science》上发表论文《Finding Structure in Time》，发展了这一方法。它建立在 Jordan 于 1986 年首先提出的设想之上。Elman 的简单循环网络能学会从时间版本的异或（XOR）到发现词的句法和语义特征等任务。[1]
训练时通常使用梯度方法，例如沿时间反向传播（backpropagation through time，BPTT）。难点在于，误差沿时间回传时，其大小会随权重呈指数变化，容易越变越小或越变越大。Sepp Hochreiter 在 1991 年分析了这一问题。[2] 结果是，网络很难学到相隔很远的步骤之间的依赖关系。1994 年，Yoshua Bengio、Patrice Simard 与 Paolo Frasconi 的论文标题就直接点明了这一难点：《Learning long-term dependencies with gradient descent is difficult》。[3]
长短期记忆（LSTM）
1997 年，Hochreiter 与 Jürgen Schmidhuber 在《Neural Computation》上发表了长短期记忆网络，用不同的记忆单元设计应对这一难题。[2] 每个单元围绕一条「恒定误差传送带」构建，使误差沿时间回传时保持稳定；输入门和输出门则学习何时让信息进入或离开记忆。它能跨越超过 1,000 个离散时间步的间隔。[2] 2000 年，Felix Gers、Schmidhuber 与 Fred Cummins 又加入了自适应的「遗忘门」，使单元能学会重置自身的状态。[4]
应用与局限
深度 LSTM 推动了神经机器翻译的兴起。2014 年，Ilya Sutskever、Oriol Vinyals 和 Quoc Le 用四层 LSTM 编码器和解码器完成了英法翻译；谷歌 2016 年的 GNMT 系统使用了 8 层编码器和 8 层解码器 LSTM，并引入了注意力（attention）机制。[5][6] 然而，RNN 必须逐步处理序列，难以在单个训练样本内做并行计算。2017 年的 Transformer 论文用注意力取代了循环结构，并把循环网络视为序列建模中已确立的先进方法。[7]
注释与来源
- Finding Structure in Time (Cognitive Science 14(2), 1990)https://doi.org/10.1207/s15516709cog1402_1
- Long Short-Term Memoryhttps://doi.org/10.1162/neco.1997.9.8.1735
- Learning long-term dependencies with gradient descent is difficulthttps://doi.org/10.1109/72.279181
- Learning to Forget: Continual Prediction with LSTMhttps://doi.org/10.1162/089976600300015015
- Sequence to Sequence Learning with Neural Networkshttps://arxiv.org/abs/1409.3215
- Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translationhttps://arxiv.org/abs/1609.08144
- Attention Is All You Needhttps://arxiv.org/abs/1706.03762
引用本页: 循环神经网络与 LSTM. TellWorld, https://www.tellworld.net/zh/learn/recurrent-neural-network. 更新于 2026-11-07