（通俗易懂）RNN及LSTM

梦里梦外; 2022-09-10 10:26 216阅读 0赞

原文链接：[https://blog.csdn.net/zhaojc1995/article/details/80572098][https_blog.csdn.net_zhaojc1995_article_details_80572098]

本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！  
https://zhuanlan.zhihu.com/p/28054589  
https://blog.csdn.net/qq\_16234613/article/details/79476763  
http://www.cnblogs.com/pinard/p/6509630.html  
https://zhuanlan.zhihu.com/p/28687529  
http://www.cnblogs.com/pinard/p/6509630.html  
https://zhuanlan.zhihu.com/p/26892413  
https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit

--------------------

RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。

## RNN的结构及变体 ##

我们从基础的神经网络中知道，神经网络包含**输入层、隐层、输出层**，通过激活函数控制输出，层与层之间通过权值连接。激活函数是事先确定好的，那么神经网络模型通过训练“学“到的东西就蕴含在“权值“中。  
基础的神经网络只在层与层之间建立了权连接，RNN最大的不同之处就是在层之间的神经元之间也建立的权连接。如图。  
![这里写图片描述][format_png]

这是一个标准的RNN结构图，图中每个箭头代表做一次变换，也就是说箭头连接带有权值。左侧是折叠起来的样子，右侧是展开的样子，左侧中h旁边的箭头代表此结构中的“循环“体现在隐层。  
在展开结构中我们可以观察到，在标准的RNN结构中，隐层的神经元之间也是带有权值的。也就是说，随着序列的不断推进，前面的隐层将会影响后面的隐层。图中O代表输出，y代表样本给出的确定值，L代表损失函数，我们可以看到，“损失“也是随着序列的推荐而不断积累的。  
除上述特点之外，标准RNN的还有以下特点：  
1、权值共享，图中的W全是相同的，U和V也一样。  
2、每一个输入值都只与它本身的那条路线建立权连接，不会和别的神经元连接。

以上是RNN的标准结构，然而在实际中这一种结构并不能解决所有问题，例如我们输入为一串文字，输出为分类类别，那么输出就不需要一个序列，只需要单个输出。如图。  
![这里写图片描述][format_png 1]  
同样的，我们有时候还需要单输入但是输出为序列的情况。那么就可以使用如下结构：  
![这里写图片描述][format_png 2]

还有一种结构是输入虽是序列，但不随着序列变化，就可以使用如下结构：  
![这里写图片描述][format_png 3]

原始的N vs N RNN要求序列等长，然而我们遇到的大部分问题序列都是不等长的，如机器翻译中，源语言和目标语言的句子往往并没有相同的长度。  
下面我们来介绍RNN最重要的一个变种：N vs M。这种结构又叫Encoder-Decoder模型，也可以称之为Seq2Seq模型。  
![这里写图片描述][format_png 4]  
从名字就能看出，这个结构的原理是先编码后解码。左侧的RNN用来编码得到c，拿到c后再用右侧的RNN进行解码。得到c有多种方式，最简单的方法就是把Encoder的最后一个隐状态赋值给c，还可以对最后的隐状态做一个变换得到c，也可以对所有的隐状态做变换。  
![这里写图片描述][format_png 5]

除了以上这些结构以外RNN还有很多种结构，用于应对不同的需求和解决不同的问题。还想继续了解可以看一下下面这个博客，里面又介绍了几种不同的结构。但相同的是循环神经网络除了拥有神经网络都有的一些共性元素之外，它总要在一个地方体现出“循环“，而根据“循环“体现方式的不同和输入输出的变化就形成了多种RNN结构。

> https://blog.csdn.net/qq\_16234613/article/details/79476763

## 标准RNN的前向输出流程 ##

上面介绍了RNN有很多变种，但其数学推导过程其实都是大同小异。这里就介绍一下标准结构的RNN的前向传播过程。  
![这里写图片描述][format_png]

再来介绍一下各个符号的含义：x是输入，h是隐层单元，o为输出，L为损失函数，y为训练集的标签。这些元素右上角带的t代表t时刻的状态，其中需要注意的是，因策单元h在t时刻的表现不仅由此刻的输入决定，还受t时刻之前时刻的影响。V、W、U是权值，同一类型的权连接权值相同。

有了上面的理解，前向传播算法其实非常简单，对于t时刻：

h
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 =
 
 
 ϕ
 
 
 (
 
 
 U
 
 
 
 x
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 +
 
 
 W
 
 
 
 h
 
 
 
 (
 
 
 t
 
 
 −
 
 
 1
 
 
 )
 
 
 
 
 +
 
 
 b
 
 
 )
 
 
 
 h^{(t)}=\phi(Ux^{(t)}+Wh^{(t-1)}+b)
 
 
 h(t)=ϕ(Ux(t)+Wh(t−1)+b) 其中
 
 
 
 
 ϕ
 
 
 (
 
 
 )
 
 
 
 \phi()
 
 
 ϕ()为激活函数，一般来说会选择tanh函数，b为偏置。

t时刻的输出就更为简单：

o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 =
 
 
 V
 
 
 
 h
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 +
 
 
 c
 
 
 
 o^{(t)}=Vh^{(t)}+c
 
 
 o(t)=Vh(t)+c

最终模型的预测输出为：

y
 
 
 ^
 
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 =
 
 
 σ
 
 
 (
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 )
 
 
 
 \widehat{y}^{(t)}=\sigma(o^{(t)})
 
 
 y
 <svg width="100%" height="0.24em" viewBox="0 0 1062 239" preserveAspectRatio="none">
 <path d="M529 0h5l519 115c5 1 9 5 9 10 0 1-1 2-1 3l-4 22

c-1 5-5 9-11 9h-2L532 67 19 159h-2c-5 0-9-4-11-9l-5-22c-1-6 2-12 8-13z">  
(t)=σ(o(t))

其中

σ
 
 
 
 \sigma
 
 
 σ为激活函数，通常RNN用于分类，故这里一般用softmax函数。

## RNN的训练方法——BPTT ##

BPTT（back-propagation through time）算法是常用的训练RNN的方法，其实本质还是BP算法，只不过RNN处理时间序列数据，所以要基于时间反向传播，故叫随时间反向传播。BPTT的中心思想和BP算法相同，沿着需要优化的参数的负梯度方向不断寻找更优的点直至收敛。综上所述，BPTT算法本质还是BP算法，BP算法本质还是梯度下降法，那么求各个参数的梯度便成了此算法的核心。  
![这里写图片描述][format_png]

再次拿出这个结构图观察，需要寻优的参数有三个，分别是U、V、W。与BP算法不同的是，其中W和U两个参数的寻优过程需要追溯之前的历史数据，参数V相对简单只需关注目前，那么我们就来先求解参数V的偏导数。

∂
 
 
 
 L
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 V
 
 
 
 
 =
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ⋅
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 V
 
 
 
 
 
 \frac{\partial L^{(t)}}{\partial V}=\frac{\partial L^{(t)}}{\partial o^{(t)}}\cdot \frac{\partial o^{(t)}}{\partial V}
 
 
 ∂V∂L(t)=∂o(t)∂L(t)⋅∂V∂o(t) 这个式子看起来简单但是求解起来很容易出错，因为其中嵌套着激活函数函数，是复合函数的求道过程。

RNN的损失也是会随着时间累加的，所以不能只求t时刻的偏导。

L
 
 
 =
 
 
 
 ∑
 
 
 
 t
 
 
 =
 
 
 1
 
 
 
 n
 
 
 
 
 L
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 L=\sum_{t=1}^{n}L^{(t)}
 
 
 L=t=1∑nL(t) 
 
 
 
 
 
 
 ∂
 
 
 L
 
 
 
 
 ∂
 
 
 V
 
 
 
 
 =
 
 
 
 ∑
 
 
 
 t
 
 
 =
 
 
 1
 
 
 
 n
 
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ⋅
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 V
 
 
 
 
 
 \frac{\partial L}{\partial V}=\sum_{t=1}^{n}\frac{\partial L^{(t)}}{\partial o^{(t)}}\cdot \frac{\partial o^{(t)}}{\partial V}
 
 
 ∂V∂L=t=1∑n∂o(t)∂L(t)⋅∂V∂o(t)

W和U的偏导的求解由于需要涉及到历史数据，其偏导求起来相对复杂，我们先假设只有三个时刻，那么**在第三个时刻** L对W的偏导数为：

∂
 
 
 
 L
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 W
 
 
 
 
 =
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 W
 
 
 
 
 +
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 2
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 2
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 W
 
 
 
 
 +
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 2
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 2
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 1
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 1
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 W
 
 
 
 
 
 \frac{\partial L^{(3)}}{\partial W}=\frac{\partial L^{(3)}}{\partial o^{(3)}}\frac{\partial o^{(3)}}{\partial h^{(3)}}\frac{\partial h^{(3)}}{\partial W}+\frac{\partial L^{(3)}}{\partial o^{(3)}}\frac{\partial o^{(3)}}{\partial h^{(3)}}\frac{\partial h^{(3)}}{\partial h^{(2)}}\frac{\partial h^{(2)}}{\partial W}+\frac{\partial L^{(3)}}{\partial o^{(3)}}\frac{\partial o^{(3)}}{\partial h^{(3)}}\frac{\partial h^{(3)}}{\partial h^{(2)}}\frac{\partial h^{(2)}}{\partial h^{(1)}}\frac{\partial h^{(1)}}{\partial W}
 
 
 ∂W∂L(3)=∂o(3)∂L(3)∂h(3)∂o(3)∂W∂h(3)+∂o(3)∂L(3)∂h(3)∂o(3)∂h(2)∂h(3)∂W∂h(2)+∂o(3)∂L(3)∂h(3)∂o(3)∂h(2)∂h(3)∂h(1)∂h(2)∂W∂h(1) 相应的，L在第三个时刻对U的偏导数为： 
 
 
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 U
 
 
 
 
 =
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 U
 
 
 
 
 +
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 2
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 2
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 U
 
 
 
 
 +
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 3
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 2
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 2
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 1
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 1
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 U
 
 
 
 
 
 \frac{\partial L^{(3)}}{\partial U}=\frac{\partial L^{(3)}}{\partial o^{(3)}}\frac{\partial o^{(3)}}{\partial h^{(3)}}\frac{\partial h^{(3)}}{\partial U}+\frac{\partial L^{(3)}}{\partial o^{(3)}}\frac{\partial o^{(3)}}{\partial h^{(3)}}\frac{\partial h^{(3)}}{\partial h^{(2)}}\frac{\partial h^{(2)}}{\partial U}+\frac{\partial L^{(3)}}{\partial o^{(3)}}\frac{\partial o^{(3)}}{\partial h^{(3)}}\frac{\partial h^{(3)}}{\partial h^{(2)}}\frac{\partial h^{(2)}}{\partial h^{(1)}}\frac{\partial h^{(1)}}{\partial U}
 
 
 ∂U∂L(3)=∂o(3)∂L(3)∂h(3)∂o(3)∂U∂h(3)+∂o(3)∂L(3)∂h(3)∂o(3)∂h(2)∂h(3)∂U∂h(2)+∂o(3)∂L(3)∂h(3)∂o(3)∂h(2)∂h(3)∂h(1)∂h(2)∂U∂h(1)

可以观察到，在某个时刻的对W或是U的偏导数，需要追溯这个时刻之前所有时刻的信息，这还仅仅是一个时刻的偏导数，上面说过损失也是会累加的，那么整个损失函数对W和U的偏导数将会非常繁琐。虽然如此但好在规律还是有迹可循，我们根据上面两个式子可以写出L在t时刻对W和U偏导数的通式：

∂
 
 
 
 L
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 W
 
 
 
 
 =
 
 
 
 ∑
 
 
 
 k
 
 
 =
 
 
 1
 
 
 
 t
 
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 (
 
 
 
 ∏
 
 
 
 j
 
 
 =
 
 
 k
 
 
 +
 
 
 1
 
 
 
 t
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 j
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 j
 
 
 −
 
 
 1
 
 
 )
 
 
 
 
 
 
 )
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 k
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 W
 
 
 
 
 
 \frac{\partial L^{(t)}}{\partial W}=\sum_{k=1}^{t}\frac{\partial L^{(t)}}{\partial o^{(t)}}\frac{\partial o^{(t)}}{\partial h^{(t)}}(\prod_{j=k+1}^{t}\frac{\partial h^{(j)}}{\partial h^{(j-1)}})\frac{\partial h^{(k)}}{\partial W}
 
 
 ∂W∂L(t)=k=1∑t∂o(t)∂L(t)∂h(t)∂o(t)(j=k+1∏t∂h(j−1)∂h(j))∂W∂h(k) 
 
 
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 U
 
 
 
 
 =
 
 
 
 ∑
 
 
 
 k
 
 
 =
 
 
 1
 
 
 
 t
 
 
 
 
 
 ∂
 
 
 
 L
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 
 
 ∂
 
 
 
 o
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 t
 
 
 )
 
 
 
 
 
 
 (
 
 
 
 ∏
 
 
 
 j
 
 
 =
 
 
 k
 
 
 +
 
 
 1
 
 
 
 t
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 j
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 j
 
 
 −
 
 
 1
 
 
 )
 
 
 
 
 
 
 )
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 (
 
 
 k
 
 
 )
 
 
 
 
 
 
 ∂
 
 
 U
 
 
 
 
 
 \frac{\partial L^{(t)}}{\partial U}=\sum_{k=1}^{t}\frac{\partial L^{(t)}}{\partial o^{(t)}}\frac{\partial o^{(t)}}{\partial h^{(t)}}(\prod_{j=k+1}^{t}\frac{\partial h^{(j)}}{\partial h^{(j-1)}})\frac{\partial h^{(k)}}{\partial U}
 
 
 ∂U∂L(t)=k=1∑t∂o(t)∂L(t)∂h(t)∂o(t)(j=k+1∏t∂h(j−1)∂h(j))∂U∂h(k) 整体的偏导公式就是将其按时刻再一一加起来。

前面说过激活函数是嵌套在里面的，如果我们把激活函数放进去，拿出中间累乘的那部分：

∏
 
 
 
 j
 
 
 =
 
 
 k
 
 
 +
 
 
 1
 
 
 
 t
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 j
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 j
 
 
 −
 
 
 1
 
 
 
 
 
 
 =
 
 
 
 ∏
 
 
 
 j
 
 
 =
 
 
 k
 
 
 +
 
 
 1
 
 
 
 t
 
 
 
 
 t
 
 
 a
 
 
 n
 
 
 
 h
 
 
 
 
 ′
 
 
 
 
 
 ⋅
 
 
 
 W
 
 
 s
 
 
 
 
 \prod_{j=k+1}^{t}{\frac{\partial{h^{j}}}{\partial{h^{j-1}}}} = \prod_{j=k+1}^{t}{tanh^{'}}\cdot W_{s}
 
 
 j=k+1∏t∂hj−1∂hj=j=k+1∏ttanh′⋅Ws或是 
 
 
 
 
 
 ∏
 
 
 
 j
 
 
 =
 
 
 k
 
 
 +
 
 
 1
 
 
 
 t
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 j
 
 
 
 
 
 ∂
 
 
 
 h
 
 
 
 j
 
 
 −
 
 
 1
 
 
 
 
 
 
 =
 
 
 
 ∏
 
 
 
 j
 
 
 =
 
 
 k
 
 
 +
 
 
 1
 
 
 
 t
 
 
 
 
 s
 
 
 i
 
 
 g
 
 
 m
 
 
 o
 
 
 i
 
 
 
 d
 
 
 
 
 ′
 
 
 
 
 
 ⋅
 
 
 
 W
 
 
 s
 
 
 
 
 \prod_{j=k+1}^{t}{\frac{\partial{h^{j}}}{\partial{h^{j-1}}}} = \prod_{j=k+1}^{t}{sigmoid^{'}}\cdot W_{s}
 
 
 j=k+1∏t∂hj−1∂hj=j=k+1∏tsigmoid′⋅Ws

我们会发现累乘会导致激活函数导数的累乘，进而会导致“**梯度消失**“和“**梯度爆炸**“现象的发生。

至于为什么，我们先来看看这两个激活函数的图像。  
这是sigmoid函数的函数图和导数图。  
![这里写图片描述][format_png 6]  
这是tanh函数的函数图和导数图。  
![这里写图片描述][format_png 7]  
它们二者是何其的相似，都把输出压缩在了一个范围之内。他们的导数图像也非常相近，我们可以从中观察到，sigmoid函数的导数范围是(0,0.25\]，tanh函数的导数范围是(0,1\]，他们的导数最大都不大于1。

这就会导致一个问题，在上面式子累乘的过程中，如果取sigmoid函数作为激活函数的话，那么必然是一堆小数在做乘法，结果就是越乘越小。随着时间序列的不断深入，小数的累乘就会导致梯度越来越小直到接近于0，这就是“梯度消失“现象。其实RNN的时间序列与深层神经网络很像，在较为深层的神经网络中使用sigmoid函数做激活函数也会导致反向传播时梯度消失，梯度消失就意味消失那一层的参数再也不更新，那么那一层隐层就变成了单纯的映射层，毫无意义了，所以在深层神经网络中，有时候多加神经元数量可能会比多家深度好。

你可能会提出异议，RNN明明与深层神经网络不同，RNN的参数都是共享的，而且某时刻的梯度是此时刻和之前时刻的累加，即使传不到最深处那浅层也是有梯度的。这当然是对的，但如果我们根据**有限层**的梯度来更新**更多层的共享的参数**一定会出现问题的，因为将有限的信息来作为寻优根据必定不会找到所有信息的最优解。

之前说过我们多用tanh函数作为激活函数，那tanh函数的导数最大也才1啊，而且又不可能所有值都取到1，那相当于还是一堆小数在累乘，还是会出现“梯度消失“，那为什么还要用它做激活函数呢？原因是tanh函数相对于sigmoid函数来说梯度较大，收敛速度更快且引起梯度消失更慢。

还有一个原因是sigmoid函数还有一个缺点，Sigmoid函数输出不是零中心对称。sigmoid的输出均大于0，这就使得输出不是0均值，称为偏移现象，这将导致后一层的神经元将上一层输出的非0均值的信号作为输入。关于原点对称的输入和中心对称的输出，网络会收敛地更好。

RNN的特点本来就是能“追根溯源“利用历史数据，现在告诉我可利用的历史数据竟然是有限的，这就令人非常难受，解决“梯度消失“是非常必要的。这里说两种改善“梯度消失”的方法：  
1、选取更好的激活函数  
2、改变传播结构

关于第一点，一般选用ReLU函数作为激活函数，ReLU函数的图像为：  
![这里写图片描述][format_png 8]  
ReLU函数的左侧导数为0，右侧导数恒为1，这就避免了小数的连乘，但反向传播中仍有权值的累乘，所以说ReLU函数不能说完全解决了“梯度消失”现象，只能说改善。有研究表明，在RNN中使用ReLU函数配合将权值初始化到单位矩阵附近，可以达到接近LSTM网络的效果。但恒为1的导数容易导致“梯度爆炸“，但设定合适的阈值可以解决这个问题。还有一点就是如果左侧横为0的导数有可能导致把神经元学死，不过设置合适的步长（学习率）也可以有效避免这个问题的发生。

关于第二点，LSTM结构就是传统RNN的改善。

总结一下，sigmoid函数的缺点：  
1、导数值范围为(0,0.25\]，反向传播时会导致“梯度消失“。tanh函数导数值范围更大，相对好一点。  
2、sigmoid函数不是0中心对称，tanh函数是，可以使网络收敛的更好。

--------------------

## LSTM ##

下面来了解一下LSTM（long short-term memory）。长短期记忆网络是RNN的一种变体，RNN由于梯度消失的原因只能有短期记忆，LSTM网络通过精妙的门控制将加法运算带入网络中，一定程度上解决了梯度消失的问题。只能说一定程度上，过长的序列还是会出现“梯度消失”（我记得有个老外的博客上说长度超过300就有可能出现），所以LSTM叫长一点的“短时记忆”。  
由于已经存在了一篇写得非常好的博客，我在这里就直接转载过来，再在其中夹杂点自己的理解。原文连接如下。

> 作者：朱小虎Neil 链接：https://www.jianshu.com/p/9dc9f41f0b29 來源：简书

在此感谢原作者！

## 长期依赖（Long-Term Dependencies）问题 ##

RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。如果 RNN 可以做到这个，他们就变得非常有用。但是真的可以么？答案是，还有很多依赖因素。

有时候，我们仅仅需要知道先前的信息来执行当前的任务。例如，我们有一个语言模型用来基于先前的词来预测下一个词。如果我们试着预测 “the clouds are in the sky” 最后的词，我们并不需要任何其他的上下文 —— 因此下一个词很显然就应该是 sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的，RNN 可以学会使用先前的信息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70]

不
 
 
 太
 
 
 长
 
 
 的
 
 
 相
 
 
 关
 
 
 信
 
 
 息
 
 
 和
 
 
 位
 
 
 置
 
 
 间
 
 
 隔
 
 
 
 不太长的相关信息和位置间隔
 
 
 不太长的相关信息和位置间隔 但是同样会有一些更加复杂的场景。假设我们试着去预测“I grew up in France… I speak fluent French”最后的词。当前的信息建议下一个词可能是一种语言的名字，但是如果我们需要弄清楚是什么语言，我们是需要先前提到的离当前位置很远的 France 的上下文的。这说明相关信息和当前预测位置之间的间隔就肯定变得相当的大。

不幸的是，在这个间隔不断增大时，RNN 会丧失学习到连接如此远的信息的能力。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 1]

相
 
 
 当
 
 
 长
 
 
 的
 
 
 相
 
 
 关
 
 
 信
 
 
 息
 
 
 和
 
 
 位
 
 
 置
 
 
 间
 
 
 隔
 
 
 
 相当长的相关信息和位置间隔
 
 
 相当长的相关信息和位置间隔 在理论上，RNN 绝对可以处理这样的 长期依赖 问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN 肯定不能够成功学习到这些知识。Bengio, et al. (1994)等人对该问题进行了深入的研究，他们发现一些使训练 RNN 变得非常困难的相当根本的原因。

然而，幸运的是，LSTM 并没有这个问题

## LSTM 网络 ##

Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都取得相当巨大的成功，并得到了广泛的使用。  
LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！

所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 2]

LSTM 同样是这样的结构，但是重复的模块拥有一个不同的结构。不同于 单一神经网络层，整体上除了h在随时间流动，细胞状态c也在随时间流动，细胞状态c就代表着长期记忆。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 3]  
不必担心这里的细节。我们会一步一步地剖析 LSTM 解析图。现在，我们先来熟悉一下图中使用的各种元素的图标。  
![在这里插入图片描述][20190701145707658.png]

*  黄色的矩形是学习得到的神经网络层
 *  粉色的圆形表示一些运算操作，诸如加法乘法
 *  黑色的单箭头表示向量的传输
 *  两个箭头合成一个表示向量的连接
 *  一个箭头分开表示向量的复制

## LSTM 的核心思想 ##

LSTM 的关键就是细胞状态，水平线在图上方贯穿运行。

细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 4]  
LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。  
![在这里插入图片描述][2019070114584830.png]

Sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，1 就指“允许任意量通过”！

LSTM 拥有三个门，来保护和控制细胞状态。

## 逐步理解 LSTM ##

在我们 LSTM 中的第一步是决定我们会从细胞状态中丢弃什么信息。这个决定通过一个称为遗忘门完成。该门会读取

h
 
 
 
 t
 
 
 −
 
 
 1
 
 
 
 
 
 h_{t-1}
 
 
 ht−1和
 
 
 
 
 
 x
 
 
 t
 
 
 
 
 x_t
 
 
 xt，输出一个在 0 到 1 之间的数值给每个在细胞状态
 
 
 
 
 
 C
 
 
 
 t
 
 
 −
 
 
 1
 
 
 
 
 
 C_{t-1}
 
 
 Ct−1中的数字。1 表示“完全保留”，0 表示“完全舍弃”。

让我们回到语言模型的例子中来基于已经看到的预测下一个词。在这个问题中，细胞状态可能包含当前主语的性别，因此正确的代词可以被选择出来。当我们看到新的主语，我们希望忘记旧的主语。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 5]  
这里可以抛出两个问题：这个门怎么做到“遗忘“的呢？怎么理解？既然是遗忘旧的内容，为什么这个门还要接收新的

x
 
 
 t
 
 
 
 
 x_{t}
 
 
 xt? 对于第一个问题，“遗忘“可以理解为“之前的内容记住多少“，其精髓在于只能输出（0，1）小数的sigmoid函数和粉色圆圈的乘法，LSTM网络经过学习决定让网络记住以前百分之多少的内容。对于第二个问题就更好理解，决定记住什么遗忘什么，其中新的输入肯定要产生影响。

下一步是确定什么样的新信息被存放在细胞状态中。这里包含两个部分。第一，sigmoid 层称 “输入门层” 决定什么值我们将要更新。然后，一个 tanh 层创建一个新的候选值向量，

C
 
 
 ~
 
 
 
 t
 
 
 
 
 \tilde{C}_t
 
 
 C~t，会被加入到状态中。下一步，我们会讲这两个信息来产生对状态的更新。

在我们语言模型的例子中，我们希望增加新的主语的性别到细胞状态中，来替代旧的需要忘记的主语。  
![这里写图片描述][20160731214331118]  
现在是更新旧细胞状态的时间了，

C
 
 
 
 t
 
 
 −
 
 
 1
 
 
 
 
 
 C_{t-1}
 
 
 Ct−1 更新为 
 
 
 
 
 
 C
 
 
 t
 
 
 
 
 C_t
 
 
 Ct。前面的步骤已经决定了将会做什么，我们现在就是实际去完成。

我们把旧状态与

f
 
 
 t
 
 
 
 
 f_t
 
 
 ft相乘，丢弃掉我们确定需要丢弃的信息。接着加上
 
 
 
 
 
 i
 
 
 t
 
 
 
 ∗
 
 
 
 
 C
 
 
 ~
 
 
 
 t
 
 
 
 
 i_t * \tilde{C}_t
 
 
 it∗C~t。这就是新的候选值，根据我们决定更新每个状态的程度进行变化。

有了上面的理解基础输入门，输入门理解起来就简单多了。**sigmoid函数选择更新内容，tanh函数创建更新候选。**  
![这里写图片描述][20160731215529417]  
最终，我们需要确定输出什么值。这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。首先，我们运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。  
![这里写图片描述][20160731220103283]

这三个门虽然功能上不同，但在执行任务的操作上是相同的。他们都是使用sigmoid函数作为选择工具，tanh函数作为变换工具，这两个函数结合起来实现三个门的功能。

## LSTM 的变体 ##

我们到目前为止都还在介绍正常的 LSTM。但是不是所有的 LSTM 都长成一个样子的。实际上，几乎所有包含 LSTM 的论文都采用了微小的变体。差异非常小，但是也值得拿出来讲一下。

其中一个流行的 LSTM 变体，就是由 Gers & Schmidhuber (2000) 提出的，增加了 “peephole connection”。是说，我们让 门层 也会接受细胞状态的输入。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 6]  
上面的图例中，我们增加了 peephole 到每个门上，但是许多论文会加入部分的 peephole 而非所有都加。

另一个变体是通过使用 coupled 忘记和输入门。不同于之前是分开确定什么忘记和需要添加什么新的信息，这里是一同做出决定。我们仅仅会当我们将要输入在当前位置时忘记。我们仅仅输入新的值到那些我们已经忘记旧的信息的那些状态 。

另一个变体是通过使用 coupled 忘记和输入门。不同于之前是分开确定什么忘记和需要添加什么新的信息，这里是一同做出决定。我们仅仅会当我们将要输入在当前位置时忘记。我们仅仅输入新的值到那些我们已经忘记旧的信息的那些状态 。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 7]  
另一个改动较大的变体是 Gated Recurrent Unit (GRU)，这是由 Cho, et al. (2014) 提出。它将忘记门和输入门合成了一个单一的 更新门。同样还混合了细胞状态和隐藏状态，和其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 8]  
这里只是部分流行的 LSTM 变体。当然还有很多其他的，如Yao, et al. (2015) 提出的 Depth Gated RNN。还有用一些完全不同的观点来解决长期依赖的问题，如Koutnik, et al. (2014) 提出的 Clockwork RNN。

要问哪个变体是最好的？其中的差异性真的重要吗？Greff, et al. (2015) 给出了流行变体的比较，结论是他们基本上是一样的。Jozefowicz, et al. (2015) 则在超过 1 万种 RNN 架构上进行了测试，发现一些架构在某些任务上也取得了比 LSTM 更好的结果。  
![在这里插入图片描述][20190613125520495.png]

# 写在2021-01-13凌晨 #

RNN/LSTM是一个伟大的算法，但终究也成为了过去式。目前最强的特征抽取器当属transformer，bert、gpt等预训练模型也是基于transformer。从序列长度问题上，transformer依靠其独特的self-attention解决了RNN长序列梯度消失的问题；从训练方式上，transformer结构上的非序列性也解决了RNN难以并行的问题，可谓从各方面吊打了RNN，称得上革命性的创举。感兴趣的朋友可以移步：[深入理解transformer源码][transformer]。

# 写在2021-03-11凌晨 #

本文撰写时间较早，当时我自己也没想清楚**为什么LSTM能缓解梯度消失**，现丰富知识储备后专门重新开一篇博文记录这个问题，感兴趣的朋友请移步：[为什么LSTM可以缓解梯度消失？][LSTM]

[https_blog.csdn.net_zhaojc1995_article_details_80572098]: https://blog.csdn.net/zhaojc1995/article/details/80572098
[format_png]: /images/20220829/037e6d577eeb47db8feff3722e76b72c.png
[format_png 1]: /images/20220829/22c8808e299b4b69a6ef9c5c4faa4059.png
[format_png 2]: /images/20220829/d779bcbab51f4ae188182cc401e54e1f.png
[format_png 3]: /images/20220829/eece448d77b546ee875dbca6f8a66630.png
[format_png 4]: /images/20220829/2439e605ba6e46d0bbea130bb1c3b738.png
[format_png 5]: /images/20220829/ae85175b3b58471bbdbb7f95f8c104e2.png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly90aW1nc2EuYmFpZHUuY29tL3RpbWc_aW1hZ2UmcXVhbGl0eT04MCZzaXplPWI5OTk5XzEwMDAwJnNlYz0xNTMwMjgyODYzNzY2JmRpPTkzZmFhMWQ2NTk2NzE5YWY2MWRlN2YzY2I4NDA1Njg3JmltZ3R5cGU9anBnJnNyYz1odHRwOi8vaW1nMC5pbWd0bi5iZGltZy5jb20vaXQvdT00MTk4MjI1MDg1LDM1MjQ3MzM5MDAmZm09MjE0JmdwPTAuanBn?x-oss-process=image/format,png
[format_png 7]: /images/20220829/c9cce61f85e54322a040108939f85bc0.png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly90aW1nc2EuYmFpZHUuY29tL3RpbWc_aW1hZ2UmcXVhbGl0eT04MCZzaXplPWI5OTk5XzEwMDAwJnNlYz0xNTMwMjgzMDQ2MTkzJmRpPTdiZGU4ZjRhZDdmY2E2Y2IwODEyYmY3YzE4MzU4NzRlJmltZ3R5cGU9MCZzcmM9aHR0cDovL3N0YXRpYy5sZWlwaG9uZS5jb20vdXBsb2Fkcy9uZXcvYXJ0aWNsZS83NDBfNzQwLzIwMTcwMi81OGExNGM2ZGE4ZjQ0LnBuZz9pbWFnZU1vZ3IyL2Zvcm1hdC9qcGcvcXVhbGl0eS85MA?x-oss-process=image/format,png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70]: /images/20220829/e9c0c0217ed841fd84b33e9985eb274d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 1]: /images/20220829/b51a3eecc9814342a3f59cc493faa3b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 2]: /images/20220829/19a52a0706f349268e7f375c600fb348.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 3]: /images/20220829/44f63d0fc8274e0491ceefcccc1f26bf.png
[20190701145707658.png]: /images/20220829/87317e0b274149f58ca6949ec8629be6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 4]: /images/20220829/216d9ee9a4f749f88c0210f1affc104f.png
[2019070114584830.png]: /images/20220829/8e6d3ae470fa4f1db9189bed9e3b6e0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 5]: /images/20220829/87d99cd6872e454cad62e2853c54b3db.png
[20160731214331118]: /images/20220829/086687c7f19549cf9c25dc1404157a80.png
[20160731215529417]: /images/20220829/9fbf8d02cdf94e23941dea2884b7d16d.png
[20160731220103283]: /images/20220829/bff59936a5474fe2a900b901cb1477df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 6]: /images/20220829/6e1d46edcc1f4e0c94c74d06071c5c8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 7]: /images/20220829/e2061172efc14b0798e10f8aa1fc28a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9qYzE5OTU_size_16_color_FFFFFF_t_70 8]: /images/20220829/57f795a093cf49e79833a4c9febca543.png
[20190613125520495.png]: /images/20220829/e69c74394a1d43f78c6c6d934e557142.png
[transformer]: https://blog.csdn.net/zhaojc1995/article/details/109276945
[LSTM]: https://blog.csdn.net/zhaojc1995/article/details/114649486