深度学习-神经网络-循环神经网络（二）：LSTM【最多200个上下文；1997】 --＞ GRU【2014】【三者都无法并行计算】

刺骨的言语ヽ痛彻心扉 2023-10-05 16:09 21阅读 0赞

Jordan RNN于1986年提出：[《SERIAL ORDER: A PARALLEL DISTRmUTED PROCESSING APPROACH》][SERIAL ORDER_ A PARALLEL DISTRmUTED PROCESSING APPROACH]  
Elman RNN于1990年提出：[《Finding Structure in Time》][Finding Structure in Time]  
[《LSTM原始论文：Long Short-Term Memory》][LSTM_Long Short-Term Memory]  
[《GRU原始论文：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》][GRU_Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation]

## 四、LSTM(Long Short-term Memory)长短期记忆结构 ##

LSTM是RNN的升级版，加入了forget、input、output三个步骤，包含3个门，5对参数，两次更新。赋予了RNN选择性记忆的能力，一定程度解决了RNN中Long Term Dependency（长期依赖）的问题。

LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！

由于内部结构相对较复杂, 因此训练效率在同等算力下较传统RNN低很多.

[SERIAL ORDER_ A PARALLEL DISTRmUTED PROCESSING APPROACH]: http://cseweb.ucsd.edu/~gary/PAPER-SUGGESTIONS/Jordan-TR-8604-OCRed.pdf
[Finding Structure in Time]: https://crl.ucsd.edu/~elman/Papers/fsit.pdf
[LSTM_Long Short-Term Memory]: https://ieeexplore.ieee.org/abstract/document/6795963
[GRU_Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation]: https://arxiv.org/abs/1406.1078