【RNN基础】——一文搞明白RNN

ゞ浴缸里的玫瑰 2022-10-07 14:51 102阅读 0赞

**目录**

1、定义

2、有了CNN，为什么需要RNN？

3、RNN的主要应用领域有哪些呢?

4、RNN的计算过程

5、标准RNN前向输出流程

6、RNN的建模方式

1、一对多（vector-to-sequence ）

2、多对一（sequence-to-vector ）

3、多对多（Encoder-Decoder ）

7、CNN和RNN的异同点

8、RNN中为什么会出现梯度消失？如何解决？

9、如何理解RNN的注意力机制

--------------------

# 1、定义 #

循环神经网络（Recurrent Neural Network, RNN）是一类以[序列][Link 1]（sequence）数据为输入，在序列的演进方向进行[递归][Link 2]（recursion）且所有节点（循环单元）按链式连接的[递归神经网络][Link 3]（recursive neural network） 。

对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为[深度学习][Link 4]（deep learning）算法之一  ，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，[LSTM][]）是常见的循环神经网络  。

# 2、有了CNN，为什么需要RNN？ #

在CNN网络中的训练样本的数据为IID数据（独立同分布数据），所解决的问题也是分类问题或者回归问题或者是特征表达问题。但更多的数据是不满足IID的，如语言翻译，自动文本生成。它们是一个序列问题，包括时间序列和空间序列。比如时间序列数据，这类数据是在不同时间点上收集到的数据，反映了某一事物、现象等随时间的变化状态或程度。一般的神经网络，在训练数据足够、算法模型优越的情况下，给定特定的x，就能得到期望y。其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。 这时就要用到RNN网络，RNN的结构图如下所示：

![de902bff29f66cc96ed2ec35ee6c9dec.png][]

序列样本一般分为：一对多(生成图片描述)，多对一（视频解说，文本归类），多对多（语言翻译）。RNN不仅能够处理序列输入，也能够得到序列输出，这里的序列指的是向量的序列。RNN学习来的是一个程序，也可以说是一个状态机，不是一个函数。

# 3、RNN的主要**应用领域**有哪些呢? #

RNN的应用领域有很多, 可以说只要考虑时间先后顺序的问题都可以使用RNN来解决.这里主要说一下几个常见的应用领域:

① 自然语言处理(NLP): 主要有视频处理, 文本生成, 语言模型, 图像处理

② 机器翻译, 机器写文章

③ 语音识别

④ 图像描述生成

⑤ 文本相似度计算

⑥ 推荐系统。例如：音乐推荐、网易考拉商品推荐、Youtube视频推荐等新的应用领域。

# 4、RNN的计算过程 #

在进一步了解RNN之前，先给出最基本的单层网络结构，输入是`x`，经过变换`Wx+b`和激活函数`f`得到输出`y`：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70][]

在实际应用中，我们还会遇到很多序列形的数据，如：

*  自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。
 *  语音处理。此时，x1、x2、x3……是每帧的声音信号。
 *  时间序列问题。例如每天的股票价格等等。
    
    其单个序列如下图所示：

![20210618175524797.jpg][]

前面介绍了诸如此类的序列数据用原始的神经网络难以建模，基于此，RNN引入了隐状态h（hidden state），h可对序列数据提取特征，接着再转换为输出。

为了便于理解，先计算h\_1：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 1][]

注：图中的圆圈表示向量，箭头表示对向量做变换。

RNN中，每个步骤使用的参数`U,W,b`相同，`h_2`的计算方式和`h_1`类似，其计算结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 2][]

计算h\_3,h\_4也相似，可得：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 3][]

接下来，计算RNN的输出y\_1，采用Softmax作为激活函数，根据y\_n=f(Wx+b)，得y\_1:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 4][]

使用和y\_1相同的参数V,c，得到y\_1,y\_2,y\_3,y\_4的输出结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 5][]

以上即为最经典的RNN结构，其输入为x\_1,x\_2,x\_3,x\_4，输出为y\_1,y\_2,y\_3,y\_4，当然实际中最大值为y\_n，这里为了便于理解和展示，只计算4个输入和输出。从以上结构可看出，RNN结构的输入和输出等长。

# 5、标准RNN前向输出流程 #

以x表示输入，h是隐层单元，o是输出，L为损失函数，y为训练集标签。t表示t时刻的状态，V,U,W是权值，同一类型的连接权值相同。以下图为例进行说明标准RNN的前向传播算法：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 6][]

对于t时刻：

![h^\{(t)\}=\\phi(Ux^\{(t)\}+Wh^\{(t-1)\}+b)][h_t_phi_Ux_t_Wh_t-1_b]

其中![\\phi()][phi]为激活函数，一般会选择tanh函数，b为偏置。

t时刻的输出为：

![o^\{(t)\}=Vh^\{(t)\}+c][o_t_Vh_t_c]

模型的预测输出为：

![\\widehat\{y\}^\{(t)\}=\\sigma(o^\{(t)\})][widehat_y_t_sigma_o_t]

其中![\\sigma][sigma]为激活函数，通常RNN用于分类，故这里一般用softmax函数。

# 6、RNN的建模方式 #

序列样本一般分为：一对多(生成图片描述)，多对一（视频解说，文本归类），多对多（语言翻译），针对不同的序列建模方式也不一样。

## 1、一对多（vector-to-sequence ） ##

输入是一个单独的值，输出是一个序列。此时，有两种主要建模方式：

方式一：可只在其中的某一个序列进行计算，比如序列第一个进行输入计算，其建模方式如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 7][]

方式二：把输入信息X作为每个阶段的输入，其建模方式如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 8][]

应用场景：

1、从图像生成文字，输入为图像的特征，输出为一段句子 2、根据图像生成语音或音乐，输入为图像特征，输出为一段语音或音乐

## 2、多对一（sequence-to-vector ） ##

输入是一个序列，输出是一个单独的值，此时通常在最后的一个序列上进行输出变换，其建模如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 9][]

应用场景：

1、输出一段文字，判断其所属类别 2、输入一个句子，判断其情感倾向 3、输入一段视频，判断其所属类别

## 3、多对多（Encoder-Decoder ） ##

建模步骤如下：

**步骤一**：将输入数据编码成一个上下文向量c，这部分称为Encoder，得到c有多种方式，最简单的方法就是把Encoder的最后一个隐状态赋值给c，还可以对最后的隐状态做一个变换得到c，也可以对所有的隐状态做变换。其示意如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 10][]

**步骤二**：用另一个RNN网络（我们将其称为Decoder）对其进行编码，方法一是将步骤一中的c作为初始状态输入到Decoder，示意图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 11][]

方法二是将c作为Decoder的每一步输入，示意图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 12][]

1、机器翻译，输入一种语言文本序列，输出另外一种语言的文本序列 2、文本摘要，输入文本序列，输出这段文本序列摘要 3、阅读理解，输入文章，输出问题答案 4、语音识别，输入语音序列信息，输出文字序列

# 7、CNN和RNN的异同点 #

<table> 
 <thead> 
  <tr> 
   <th>类别</th> 
   <th>特点描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>相同点</td> 
   <td> <p>1、传统神经网络的扩展。</p> <p>2、前向计算产生结果，反向计算模型更新。</p> <p>3、每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。</p> </td> 
  </tr> 
  <tr> 
   <td>不同点</td> 
   <td> <p>1、CNN空间扩展，神经元与特征卷积；RNN时间扩展，神经元与多个时间输出计算</p> <p>2、RNN可以用于描述时间上连续状态的输出，有记忆功能，CNN用于静态输出</p> </td> 
  </tr> 
 </tbody> 
</table>

# 8、RNN中为什么会出现梯度消失？如何解决？ #

**梯度消失的原因**：sigmoid函数的导数范围是(0,0.25\]，tanh函数的导数范围是(0,1\]，他们的导数最大都不大于1，如果取tanh或sigmoid函数作为激活函数嵌套到RNN中，那么必然是一堆小数在做乘法，结果就是越乘越小。随着时间序列的不断深入，小数的累乘就会导致梯度越来越小直到接近于0，这就是“梯度消失“现象。

实际使用中，会优先选择tanh函数，原因是tanh函数相对于sigmoid函数来说梯度较大，收敛速度更快且引起梯度消失更慢。

** 解决RNN中的梯度消失方法主要有：**

1、选取更好的激活函数，如Relu激活函数。ReLU函数的左侧导数为0，右侧导数恒为1，这就避免了“梯度消失“的发生。但恒为1的导数容易导致“梯度爆炸“，但设定合适的阈值可以解决这个问题。

2、加入BN层，其优点包括可加速收敛、控制过拟合，可以少用或不用Dropout和正则、降低网络对初始化权重不敏感，且能允许使用较大的学习率等。

2、改变传播结构，选择更高级的模型，例如：LSTM结构可以有效解决这个问题。

# 9、如何理解RNN的注意力机制 #

在上述的Encoder-Decoder结构中，Encoder把所有的输入序列都编码成一个统一的语义特征c再解码，因此，c中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。如机器翻译问题，当要翻译的句子较长时，一个c可能存不下那么多信息，就会造成翻译精度的下降。Attention机制通过在每个时间输入不同的c来解决此问题。

引入了Attention机制的Decoder中，有不同的c，每个c会自动选择与当前输出最匹配的上下文信息，其示意图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 13][]

**举例**，比如输入序列是“我爱中国”，要将此输入翻译成英文：

假如用a\{ij\}衡量Encoder中第j阶段的h\_j和解码时第i阶段的相关性，a\{ij\}从模型中学习得到，和Decoder的第i-1阶段的隐状态、Encoder 第j个阶段的隐状态有关，比如a\_\{3j\}的计算示意如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 14][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 16][]

最终Decoder中第i阶段的输入的上下文信息 c\_i来自于所有h\_j对a\_\{ij\}的加权和。

其示意图如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 17][]

在Encoder中，h\_1,h\_2,h\_3,h\_4分别代表“我”，“爱”，“中”，“国”所代表信息。翻译的过程中，c\_1会选择和“我”最相关的上下午信息，如上图所示，会优先选择a\{11\}，以此类推，c\_2会优先选择相关性较大的a\{22\}，c\_3会优先选择相关性较大的a\{33\}，a\{34\}，这就是attention机制。

[Link 1]: https://baike.baidu.com/item/%E5%BA%8F%E5%88%97/1302588
[Link 2]: https://baike.baidu.com/item/%E9%80%92%E5%BD%92/1740695
[Link 3]: https://baike.baidu.com/item/%E9%80%92%E5%BD%92%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/16020230
[Link 4]: https://baike.baidu.com/item/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/3729729
[LSTM]: https://baike.baidu.com/item/LSTM/17541102
[de902bff29f66cc96ed2ec35ee6c9dec.png]: /images/20221005/efe18b3c500240cc9f27777e1907356f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70]: /images/20221005/3b5f6bc4f3c54164b2b6fc6d777745ee.png
[20210618175524797.jpg]: /images/20221005/9391de66ac3b43359f6ebb24ed85287e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 1]: /images/20221005/e404cf1ee3164321bb32ad68e4e900de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 2]: /images/20221005/1cd4f7d2efd84875ba838035cfe09785.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 3]: /images/20221005/4221fff0f7544830838ee487ec50bee6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 4]: /images/20221005/8c472ba64f1c4bf0b86d071e0819c05c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 5]: /images/20221005/837785ea45984d1e950b1e87285aea08.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 6]: /images/20221005/9c237eb0b49f4ec1862a55b3df52c418.png
[h_t_phi_Ux_t_Wh_t-1_b]: https://latex.codecogs.com/gif.latex?h%5E%7B%28t%29%7D%3D%5Cphi%28Ux%5E%7B%28t%29%7D&plus;Wh%5E%7B%28t-1%29%7D&plus;b%29
[phi]: https://latex.codecogs.com/gif.latex?%5Cphi%28%29
[o_t_Vh_t_c]: https://latex.codecogs.com/gif.latex?o%5E%7B%28t%29%7D%3DVh%5E%7B%28t%29%7D&plus;c
[widehat_y_t_sigma_o_t]: https://latex.codecogs.com/gif.latex?%5Cwidehat%7By%7D%5E%7B%28t%29%7D%3D%5Csigma%28o%5E%7B%28t%29%7D%29
[sigma]: https://latex.codecogs.com/gif.latex?%5Csigma
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 7]: /images/20221005/ba297bd5f38845eca31f01ec873d06fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 8]: /images/20221005/65111ba52b78409491074082254fb6ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 9]: /images/20221005/30285cb2bea4462a9c4b00149799f3c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 10]: /images/20221005/ce277301b67d47e4873bc8b0d4043423.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 11]: /images/20221005/37daecd408574f9e9918a6c413463189.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 12]: /images/20221005/fde7eecfe32e424c9abc5d94f799d9a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 13]: /images/20221005/69265f27537d4caa87bff5ab78f57843.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/202106190852054.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 15]: /images/20221005/fd93290692594d54800d41f14b8579a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 16]: /images/20221005/cfd516a3e29046768c135656e3650744.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 17]: /images/20221005/9832363a3c534f8cb15cee051962df10.png