RNN相关模型研究

迈不过友情╰ 2022-03-10 14:10 232阅读 0赞

### 文章目录 ###

*  RNN
 *   *  RNN经典算法
     *  N to M
     *  Attention机制
     *   *  RNN 改进版 LSTM
     *  参考文献

# RNN #

RNN有很多种。  
从输入输出的角度有:

1.  one to one

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center]

1.  one to n  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 1]
2.  n to n  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 2]
3.  n to one

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 3]

1.  n to m

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 4]

## RNN经典算法 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 2]

RNN最经典的版本是，N个输入，对N的输出。  
中间的是隐藏层。

有  h 1 = f ( U x 1 + W h 0 + b ) h1 = f(Ux1 + Wh0 + b) h1=f(Ux1\+Wh0\+b)

*  同一次迭代，需要记住的是，h0,h1,h2…这些迭代的时候用的U，W，b都是一样的。

对于输出部分:

y 1 = S o f t m a x ( V h 1 + c ) y1 = Softmax(Vh1 + c) y1=Softmax(Vh1\+c)

*  类似的，输出用的V还有c对于y1,y2…来说都是一样的。

**序列等长**， 这就是经典的RNN模型

*  对于序列数据，RNN提出了一个隐藏数据H。H为提取出来的特征向量。
 *  对于每个序列节点x，都有一个对应的隐藏数据H。
 *  每个H都是有X和前一个节点的H生成的。

h i = f ( U x i + W h i − 1 + b ) h\_i = f(Ux\_i+Wh\_\{i-1\}+b) hi=f(Uxi\+Whi−1\+b)

*  U, W, b 为共享的参数
 *  f 为激活函数，一般为tanh

目前还没有输出，输出是直接通过H来计算出来的。

y i = S o f t m a x ( V h i + c ) y\_i = Softmax(Vh\_\{i\}+c) yi=Softmax(Vhi\+c)

## N to M ##

N to M需要被单独拿出来讲。这个就是Encoder-Decoder模型。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 4]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 5]

*  这个只是一个框架，中间的生成步骤，其实把RNN换成LSTM也是可以的。
 *  局限性:
    
     *  编码和解码的唯一联系就是固定的语义向量c。
     *  压缩过程必然带来的信息损失
     *  RNN本身机制导致，先输入的信息被后输入的信息给稀释掉。

## Attention机制 ##

1.  Encoder的过程输入的c有多个，分别作为decoder过程中的输入。
2.  同时对不同的c，不同的隐藏层的映射权重不一致。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 6]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 7]

A这个矩阵的生成:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 8]

### RNN 改进版 LSTM ###

LSTM（long short term memory， 长短期记忆网络）

*  经典的RNN，由于是复合函数带进去求导，导致反向传播求梯度时，会将所有的梯度连乘起来，引起梯度爆炸或者是梯度消失。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 9]

*  LSTM由于添加了常量C（15年之前都是C对于每个cell都是hi一个常数）
 *  在15年之后，认为它不是一个常数而是可以往后求导的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 10]

除了经典RNN中的隐藏状态H之外，LSTM还提出了新的隐藏状态C。

每次输入的有两个隐藏状态，同时也有两个隐藏状态输出

*  遗忘门

f t = σ ( W f ⋅ \[ h t − 1 , x t \] + b f ) f\_t = \\sigma(W\_f·\[h\_\{t-1\}, x\_t\] + b\_f) ft=σ(Wf⋅\[ht−1,xt\]\+bf)

*  记忆门

i t = σ ( W i ⋅ \[ h t − 1 , x t \] + b i ) i\_t = \\sigma(W\_i·\[h\_\{t-1\}, x\_t\] + b\_i) it=σ(Wi⋅\[ht−1,xt\]\+bi)

C ~ t = t a n h ( W C ⋅ \[ h t − 1 , x t \] + b C ) \\widetilde C\_t = tanh(W\_C·\[h\_\{t-1\}, x\_t\] + b\_C) Ct=tanh(WC⋅\[ht−1,xt\]\+bC)

*  用于远程传播的C的更新

C t = f t ∗ C t − 1 + C ~ t ∗ i t C\_t =f\_t \* C\_\{t-1\} + \\widetilde C\_t \* i\_t Ct=ft∗Ct−1\+Ct∗it

*  输出门(用于输出H，而H控制输出)

o t = σ ( W o ⋅ \[ h t − 1 , x t \] + b o ) o\_t = \\sigma(W\_o·\[h\_\{t-1\}, x\_t\] + b\_o) ot=σ(Wo⋅\[ht−1,xt\]\+bo)

h t = o t ∗ t a n h ( C t ) h\_t = o\_t \* tanh(C\_t) ht=ot∗tanh(Ct)

## 参考文献 ##

1.  https://www.jiqizhixin.com/articles/2018-12-14-4
2.  https://easyai.tech/ai-definition/rnn/
3.

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center]: /images/20220310/fdcef5e0cf5c4bc3a44d5217821251d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220310/d756de72ce6d43d2b6f77e924067a35d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220310/3597a349118e4fe0a5936cceb3327cb2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20220310/e156e295925c45c7830b61db31fdad1c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20220310/4649aedd69d740d4bad7232330d7b6f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20220310/729698fd58614058ae32f4a5d9be0415.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20220310/3fbf3e88f6ce4fdb8dea4fa8f679bde0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20220310/db0f8dffe94d4a8ea870c5f7eaa263d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20220310/84ea71763ab549eea5aa344aec5cddfd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20220310/2497d5436b40499080b7c52f218fa351.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20220310/d230c8ad8b0244eba00d4b5ceef2f701.png