LSTM基本原理及实践（上）

拼搏现实的明天。 2022-12-20 02:26 126阅读 0赞

**前导知识：RNN**

*  递归神经网络（Recurrent Neural Network）可以解决传统神经网络中做不到的“信息时序关联”，说人话就是RNN能从以前的一些事件推测出相关的下一事件。
 *  RNN的网络结构如下，它的网络结构中存在回环，能使得之前的信息得到保留。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center]
 *  上面示意图中，模块A接收输入X并输出h，重复若干次就能将之前的状态信息一直传递下去。
 *  这种链式的结构也揭示了RNN与序列（sequences）和列表（lists）紧密关联。RNN已经成功运用在了语音识别、语言建模等等领域。
 *  但是RNN也并不是万能的，它会出现梯度爆炸和梯度消失等问题，什么是梯度消失和爆炸？具体可以查看[这篇博客][Link 1]。简单来说，就是难以继续更新参数了。
 *  举个具体的例子来说，当我们想要预测`“the clouds are in the __”`,RNN能很好地根据前文推测出应该填`sky`；但是当对于`“I grew up in France… I speak fluent ___.`这句话来说，我们可以一眼看出应该填`French`，但是RNN不行，因为中间隔了太多其他的信息，已经没办法关联到那么远的前文并学习了。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 1]  
    **什么是LSTM？它从何而来？**
 *  Long Short-Term Memory 长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长时间的重要事件。
 *  它的设计就是为了避免RNN的梯度消失和爆炸的问题。它的核心是设计了门的结构（输入门、遗忘门、输出门），能够机智地控制每一次记录啥信息丢掉啥信息，这样就能长期记住前面重要的信息了。
 *  在标准的RNN中，其重复的子模块就是很简单的比如一个tanh层：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 2]
 *  而LSTM对这种结构做了优化，也就是加了上面说的三个门，这里的门就可以简单地理解尾一个阀门开关，控制前面信息能流进下一层的程度，下面会具体讲。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 3]
 *  上图结构的符号意思分别是：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 4]
 *  简单来说就是：
    
     *  黄色矩阵：学习得到的神经网络层
     *  粉色圆圈表示运算操作
     *  黑色箭头表示向量传输
 *  这里的门包括了一个Sigmoid激活函数和相关的其他操作，sigmoid函数输出范围为\[0,1\]，一般用在二分类问题，输出值接近0不通过，接近1则通过。
 *  sigmoid函数公式以及几何图像：  
    ![在这里插入图片描述][20201110194538318.png_pic_center]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 5]

*  门的结构：  
    ![在这里插入图片描述][20201110194639348.png_pic_center]
 *  总的来说，LSTM的总流程是先经过遗忘门，决定哪些信息需要被丢弃；下一阶段是输入门，确定哪些信息要被存入下一层；最后一个阶段是输出们，确定输出什么值。下面来具体介绍LSTM中的三个门结构：
 *  **遗忘门：** 遗忘门是以上一层的输出 h t − 1 h\_\{t-1\} ht−1和本层要输入的序列数据 x t x\_t xt作为输入，通过一个激活函数sigmoid，得到输出为 f t f\_t ft。的输出取值在\[0,1\]区间，表示上一层细胞状态被遗忘的概率，1是“完全保留”，0是“完全舍弃”。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 6]
 *  **输入门：** 包括两个部分，第一个部分使用sigmoid激活函数，输出 i t i\_t it，其在\[0,1\]之间取值，表示 C t C\_t Ct中的信息被保留的程度，其中 C t C\_t Ct由第二部分tanh激活函数输出；两者相乘 i t ∗ C t i\_t\*C\_t it∗Ct就是该层表示整层被表六的新信息了。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 7]
 *  目前为止， f t f\_t ft是遗忘门的输出，控制着上一层状态 C t − 1 C\_\{t-1\} Ct−1被遗忘的程度； i t ∗ C t i\_t\*C\_t it∗Ct是输入门的运算表示由多少新信息被保留，基于这些旧可以将新信息更新给这一层的状态 C t C\_t Ct了:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 8]
 *  **输出门：** 用来控制该层的状态由多少被过滤。首先使用sigmoid激活函数得到\[0,1\]区间内的取值 o t o\_t ot,然后将状态 C t C\_t Ct通过tanh函数处理后与 o t o\_t ot相乘得到本层的输出 h t h\_t ht  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 9][]
 *  至此基本的LSTM结构就了解得差不多了，LSTM也有很多的变种，比如双向LSTM和GRU之类的，这里就不过多介绍了，具体的可以看参考资料。
 *  实践篇内容是：手动实现LSTM网络并对文本数据进行分类，更新完会链接于此：[LSTM基本原理及实践（下）（更新中）][LSTM]

--------------------

参考资料：

*  [Understanding LSTM Networks][]
 *  [The Unreasonable Effectiveness of Recurrent Neural Networks][]
 *  [长短期记忆网络（Long Short-Term Memory，LSTM）及其变体双向LSTM和GRU][Long Short-Term Memory_LSTM_LSTM_GRU]
 *  [DIVE INTO DEEP LEARNING（6.8. 长短期记忆（LSTM））][DIVE INTO DEEP LEARNING_6.8. _LSTM]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/e7d9784b1eca4d9083ca9e2da7be942b.png
[Link 1]: https://blog.csdn.net/jizhidexiaoming/article/details/81743584?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160500731119725255551626%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=160500731119725255551626&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-81743584.pc_first_rank_v2_rank_v28&utm_term=RNN%E6%A2%AF%E5%BA%A6%E6%B6%88%E5%A4%B1&spm=1018.2118.3001.4449
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/b57fef382eae4d6ebe2cd9f33d3fba7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/28b62cd22a184b409c6ae77e8b5b9a20.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221120/c1563ecc50574165bf0ef8ec53578e6d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221120/c50ac25a5a844a3bbdaa4465fe26538c.png
[20201110194538318.png_pic_center]: /images/20221120/b227f43f68fa400bb788937724cfd690.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221120/0a36b3411d8c49d493c58fed814a535e.png
[20201110194639348.png_pic_center]: /images/20221120/a6e1161b99e74e0e84c62de09addaa63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221120/f9c5ee63d578405aa6f81401bd6f7705.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221120/df0e5d4457d34f9bb0a35af2df73d507.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 8]: https://img-blog.csdnimg.cn/2020111020054063.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 9]: https://img-blog.csdnimg.cn/20201110200838776.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[LSTM]: https://blog.csdn.net/qq_43145926/article/details/109730383
[Understanding LSTM Networks]: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
[The Unreasonable Effectiveness of Recurrent Neural Networks]: http://karpathy.github.io/2015/05/21/rnn-effectiveness/
[Long Short-Term Memory_LSTM_LSTM_GRU]: https://blog.csdn.net/weixin_42111770/article/details/80900575
[DIVE INTO DEEP LEARNING_6.8. _LSTM]: http://zh.d2l.ai/chapter_recurrent-neural-networks/lstm.html