LSTM网络小记

心已赠人 2022-05-28 01:46 203阅读 0赞

转载注明来源：　[https://blog.csdn.net/greenlight\_74110/article/details/79715264][https_blog.csdn.net_greenlight_74110_article_details_79715264]

## 背景 ##

在传统的RNN网络的反向传播过程中，在与关联循环隐藏层间的神经元的权重矩阵相乘很多次后，梯度会消失。这意味着，过渡矩阵中的权重大小对学习过程有很强的影响。

如果该矩阵中的权重小（更确切来说，如果权重矩阵的主要特征值比1小），可能会导致一种叫做梯度消失的情况，即梯度信号变得太小以致于学习变得十分缓慢或者停止。它将会使得学习数据中的长期依赖关系的任务变得更加困难。反过来，如果该矩阵中的权重很大（或者说，权重矩阵的主要特征值比1.0大），将导致梯度信号太大以致于学习产生偏差的情况，通常被称为梯度爆炸。

## 模型 ##

以上的问题是LSTM模型提出一种叫做记忆单元的新结构背后的主要动机。一个记忆单元由四种主要元素组成：一个输入门，一个具有自循环连接的神经元，一个遗忘门以及一个输出门。自循环连接有着1.0的权重并确保能阻断任何外部干扰，一个记忆单元的状态可以在一个时间步到另一个之间保持连续。这些门被用来调制记忆单元本身间的相互干扰和环境。输入门可以允许即将到来的信号来改变记忆单元的状态或者阻断它。另一方面，输出门能允许记忆单元的状态对其它神经元产生影响或者阻断它。最后，遗忘门能调节记忆单元的自循环连接，允许单元根据需要记住或者忘记它先前的状态。

![\_images/lstm\_memorycell.png][images_lstm_memorycell.png]

![img][]

## 实现 ##

下面的等式描述了某一层中的记忆单元在每个时间步t是怎样更新的。

x(t)是记忆单元层在时间t的输入 W、U、V是权重矩阵 b是偏置向量

#### 确定更新信息 ####

首先，我们计算在时间t时，输入门的值i(t)，用于记忆单元的状态的候选值C(t)：

![i\_t = \\sigma(W\_i x\_t + U\_i h\_\{t-1\} + b\_i)][i_t _ _sigma_W_i x_t _ U_i h_t-1_ _ b_i]

![\\widetilde\{C\_t\} = tanh(W\_c x\_t + U\_c h\_\{t-1\} + b\_c)][widetilde_C_t_ _ tanh_W_c x_t _ U_c h_t-1_ _ b_c]

#### 确定丢弃信息 ####

然后，计算在时间t时，记忆单元的遗忘门的激活，f(t)的值：

![f\_t = \\sigma(W\_f x\_t + U\_f h\_\{t-1\} + b\_f)][f_t _ _sigma_W_f x_t _ U_f h_t-1_ _ b_f]

#### 更新单元状态 ####

假设输入门激活的值i(t)，遗忘门激活f(t)以及候选状态值C(t)，可以计算出记忆单元在时间t的新状态C(t)：

![C\_t = i\_t \* \\widetilde\{C\_t\} + f\_t \* C\_\{t-1\}][C_t _ i_t _ _widetilde_C_t_ _ f_t _ C_t-1]

#### 确定输出信息 ####

利用记忆单元的新状态，我们可以计算出它们的输出门的值，再同单元状态相乘，继而算出单元输出：

![o\_t = \\sigma(W\_o x\_t + U\_o h\_\{t-1\} + V\_o C\_t + b\_o)][o_t _ _sigma_W_o x_t _ U_o h_t-1_ _ V_o C_t _ b_o]

![h\_t = o\_t \* tanh(C\_t)][h_t _ o_t _ tanh_C_t]

参考：[http://deeplearning.net/tutorial/lstm.html][http_deeplearning.net_tutorial_lstm.html]

[https_blog.csdn.net_greenlight_74110_article_details_79715264]: https://blog.csdn.net/greenlight_74110/article/details/79715264
[images_lstm_memorycell.png]: http://deeplearning.net/tutorial/_images/lstm_memorycell.png
[img]: /images/20220528/dc23e52284f144e9b17f41d8e52ea612.png
[i_t _ _sigma_W_i x_t _ U_i h_t-1_ _ b_i]: http://deeplearning.net/tutorial/_images/math/8d15deb3b21279002456efccc157f93c2a759f07.png
[widetilde_C_t_ _ tanh_W_c x_t _ U_c h_t-1_ _ b_c]: http://deeplearning.net/tutorial/_images/math/d9894c56ddac28b00fba2aeb21d2019747bf1a5b.png
[f_t _ _sigma_W_f x_t _ U_f h_t-1_ _ b_f]: http://deeplearning.net/tutorial/_images/math/74d600585435eeacd3e146d8fe4c7aaad0e78d02.png
[C_t _ i_t _ _widetilde_C_t_ _ f_t _ C_t-1]: http://deeplearning.net/tutorial/_images/math/6252b09e2bba34f2aa95c254caf4bcb969d9019f.png
[o_t _ _sigma_W_o x_t _ U_o h_t-1_ _ V_o C_t _ b_o]: http://deeplearning.net/tutorial/_images/math/7af866f7ad61180b2f6a845eeba928a3de68ff6b.png
[h_t _ o_t _ tanh_C_t]: http://deeplearning.net/tutorial/_images/math/91c8423c9c4f5c8af9312a5883c7c4a9efa6bc99.png
[http_deeplearning.net_tutorial_lstm.html]: http://deeplearning.net/tutorial/lstm.html