LSTM函数详解（keras）

约定不等于承诺〃 2022-09-12 15:53 170阅读 0赞

原文链接：[https://www.zhihu.com/question/64470274][https_www.zhihu.com_question_64470274]

[https://blog.csdn.net/jiangpeng59/article/details/77646186][https_blog.csdn.net_jiangpeng59_article_details_77646186]

跑试验的间隙，遇到了同样的困惑，看了一圈答案之后，想明白了。再来给大家白话解释一遍。

根据Keras 官方文档的函数定义：

> keras.layers.LSTM(units, activation='tanh', recurrent\_activation='sigmoid', ....  
> **units**: Positive integer, dimensionality of the output space.

先给结论：这里的**units就是输出层的维度**。

比如：inputs=\[100,300\], units=128, 那么你经过一层LSTM之后，得到的output=\[100,128\].

答案里面可以参考

@huahaha2b

的言简意赅的答案，以及

@lonlon ago

的详细答案。

=====================================================

现在开始说自己的理解，主要是根据lonlon ago的回答基础上，再对他的回答进行注解。

先这样想：

你有一段话，这段话有100个字，你经过一种embedding作用(e.g. Word2Vec)，每个字都用一个300维的向量表示。那么这100个字是有先后顺序的，也就是时序信息的。所以，你现在相当于有一个\[100,300\]的矩阵，这就是你的input。现在，有一个*神奇的DL层*，经过这个层之后呢，你原来的\[100, 300\]矩阵，就会变成\[100,128\]的矩阵。这里的300维降到128维，可以想“全连接”层，也就是相当于过了一个隐含层，得到了隐含表达(hidden representation)。

上面提到的神奇的DL层就是LSTM!

![v2-069d37b900d97611242abfc2968273a2_720w.jpg_source_1940ef5c][] ![v2-069d37b900d97611242abfc2968273a2_720w.jpg_source_1940ef5c 1][] LSTM 展示图（图片出自@lonlon ago的答案）

假如现在处理第50个字：第50个字 ![\[公式\]][equation_tex_w_7B50_7D] (300维）以及前面49个字的隐状态，也就是别的答案里的cell的状态， ![\[公式\]][equation_tex_h_7B49_7D](128维)， 这两个会拼接在一起形成一个428维的输入。这个输入会在当前的cell中，分别经过那4个小黄框，注意啦！每个小皇框的输出都被设定成为128维度(对，就是你赋给units的值)， 所以后面的一些列操作都是在128维基础上进行相乘、相加(就是图里的红色的小圆圈)。一系列操作之后，你会产生一个 ![\[公式\]][equation_tex_h_7B50_7D] ，也是128维度的，如此进行下去...

如果在LSTM层中设置了return\_sequences=True, 就会把 ![\[公式\]][equation_tex_h_1_5Ccdots_h_7B100_7D] 的一共100个向量都返回给你，形成一个\[100, 128\]的矩阵。反之，如果 return\_sequences=False, 你就只会得到 ![\[公式\]][equation_tex_h_7B100_7D] 的一个向量，还是128维的。

就这样，希望我讲明白了！

P.S. 这个讲解也很清晰：

[Keras中的LSTM][Keras_LSTM]

=====================================================

**LSTM层**

keras.layers.recurrent.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', unit_forget_bias=True, kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None, bias_constraint=None, dropout=0.0, recurrent_dropout=0.0)
    
       
        
       
        
         1

***核心参数***  
*units*：输出维度  
*input\_dim*：输入维度，当使用该层为模型首层时，应指定该值（或等价的指定input\_shape)  
*return\_sequences*：布尔值，默认False，控制返回类型。若为True则返回整个序列，否则仅返回输出序列的最后一个输出  
*input\_length*：当输入序列的长度固定时，该参数为输入序列的长度。当需要在该层后连接Flatten层，然后又要连接Dense层时，需要指定该参数，否则全连接的输出无法计算出来。

**输入shape**  
形如（samples，timesteps，input\_dim）的3D张量

**输出shape**

如果return\_sequences=True：返回形如（samples，timesteps，output\_dim）的3D张量否则，返回形如（samples，output\_dim）的2D张量

**1.输入和输出的类型**  
相对之前的tensor，这里多了个参数**timesteps**，其表示啥意思？举个栗子，假如我们输入有100个句子，每个句子都由5个单词组成，而每个单词用64维的[词向量][Link 1]表示。那么samples=100，timesteps=5，input\_dim=64，你可以简单地理解timesteps就是输入序列的长度input\_length(*视情而定*)

**2.units**  
假如units=128，就一个单词而言，你可以把LSTM内部简化看成

Y
 
 
 =
 
 
 
 X
 
 
 
 1
 
 
 ×
 
 
 64
 
 
 
 
 
 W
 
 
 
 64
 
 
 ×
 
 
 128
 
 
 
 
 
 Y=X_{1\times64}W_{64\times128}
 
 
 Y=X1×64W64×128 ,X为上面提及的词向量比如64维,W中的128就是units，也就是说通过LSTM，把词的维度由64转变成了128

**3.return\_sequences**  
我们可以把很多LSTM层串在一起，但是最后一个LSTM层return\_sequences通常为false，具体看下面的栗子。

**栗子**  
Sentence01: *you are really a genius*

model = Sequential()
    model.add(LSTM(128, input_dim=64, input_length=5, return_sequences=True))
    model.add(LSTM(256, return_sequences=False))
    
     
      
     
      
       1
       2
       3

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwODI4MTEzODA3ODk1]

(1)我们把输入的单词，转换为维度64的词向量，小矩形的数目即单词的个数input\_length  
(2)通过第一个LSTM中的Y=XW，这里输入为维度64，输出为维度128，而return\_sequences=True，我们可以获得5个128维的词向量V1’…V5’  
(3)通过第二个LSTM，此时输入为V1’…V5’都为128维，经转换后得到V1’’…V5’'为256维，最后因为return\_sequences=False，所以只输出了最后一个红色的词向量

**网友提问：**  
(1)activation='tanh’对应哪个门？  
我们看看源码：

if self.implementation == 2: #If set to 2 (LSTM/GRU only)
 	z = K.dot(inputs * dp_mask[0], self.kernel)
 	z += K.dot(h_tm1 * rec_dp_mask[0], self.recurrent_kernel)
 	if self.use_bias:
 		z = K.bias_add(z, self.bias)
 z0 = z[:, :self.units]
 z1 = z[:, self.units: 2 * self.units]
 z2 = z[:, 2 * self.units: 3 * self.units]
 z3 = z[:, 3 * self.units:]
 
 i = self.recurrent_activation(z0)
 f = self.recurrent_activation(z1)
 c = f * c_tm1 + i * self.activation(z2) #**关注点**
 o = self.recurrent_activation(z3)

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15

关注点那行代码对应下面的图(这块应该是输入门)：  
![在这里插入图片描述][20190708180643119.png]

参考：  
[https://colah.github.io/posts/2015-08-Understanding-LSTMs/][https_colah.github.io_posts_2015-08-Understanding-LSTMs]  
[https://www.zhihu.com/question/41949741?sort=created][https_www.zhihu.com_question_41949741_sort_created]  
[http://www.cnblogs.com/leeshum/p/6133290.html][http_www.cnblogs.com_leeshum_p_6133290.html]  
[http://spaces.ac.cn/archives/4122/][http_spaces.ac.cn_archives_4122] (word2vec和Ebedding的区别)

[https_www.zhihu.com_question_64470274]: https://www.zhihu.com/question/64470274
[https_blog.csdn.net_jiangpeng59_article_details_77646186]: https://blog.csdn.net/jiangpeng59/article/details/77646186
[v2-069d37b900d97611242abfc2968273a2_720w.jpg_source_1940ef5c]: https://pica.zhimg.com/50/v2-069d37b900d97611242abfc2968273a2_720w.jpg?source=1940ef5c
[v2-069d37b900d97611242abfc2968273a2_720w.jpg_source_1940ef5c 1]: /images/20220828/227c7f89df3d4f49bda9175c610ef99c.png
[equation_tex_w_7B50_7D]: https://www.zhihu.com/equation?tex=w_%7B50%7D
[equation_tex_h_7B49_7D]: https://www.zhihu.com/equation?tex=h_%7B49%7D
[equation_tex_h_7B50_7D]: /images/20220828/aa752c8127e14c299e38c87afed4c88c.png
[equation_tex_h_1_5Ccdots_h_7B100_7D]: https://www.zhihu.com/equation?tex=h_1+%5Ccdots+h_%7B100%7D
[equation_tex_h_7B100_7D]: /images/20220828/3fb70e9c1710487ebe07b412a0a70b83.png
[Keras_LSTM]: https://link.zhihu.com/?target=https%3A//www.jianshu.com/p/3edff278f021
[Link 1]: http://blog.csdn.net/jiangpeng59/article/details/77533309
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwODI4MTEzODA3ODk1]: /images/20220828/3a86363a77a34513a3a37a90e7d8db50.png
[20190708180643119.png]: /images/20220828/9137a2f5eae74b64bbb3c4380764c0e5.png
[https_colah.github.io_posts_2015-08-Understanding-LSTMs]: https://colah.github.io/posts/2015-08-Understanding-LSTMs/
[https_www.zhihu.com_question_41949741_sort_created]: https://www.zhihu.com/question/41949741?sort=created
[http_www.cnblogs.com_leeshum_p_6133290.html]: http://www.cnblogs.com/leeshum/p/6133290.html
[http_spaces.ac.cn_archives_4122]: http://spaces.ac.cn/archives/4122/