Keras：LSTM layer的return_sequences和return_state参数详解

﹏ヽ暗。殇╰゛Y 2022-04-24 00:46 195阅读 0赞

先放上参考： [Understand the Difference Between Return Sequences and Return States for LSTMs in Keras][]  
本文是基于上面博客做的实践，以验证LSTM的两个参数的使用。  
这是本文对应的jypyter notebook：[Github:Keras：LSTM layer的return\_sequences和return\_state参数详解.ipynb ][Github_Keras_LSTM layer_return_sequences_return_state_.ipynb]

## 先回顾一下LSTM ##

这里默认大家有RNN和LSTM的基础，不了解的可以参考这篇文章：[Understanding LSTM Networks][]  
![LSTM][]  
上图是LSTM 的**cell** 单元，其中：

*   h t h\_\{t\} ht 表示第  t t t 步的 **hidden state**，是  t t t 时刻的数据被编码后的向量，也是LSTM对外的输出。
 *   C t C\_\{t\} Ct 表示第  t t t 步的 **cell state**，是  t t t 时刻数据的记忆向量，代表LSTM内在的记忆，通常只在内部流动，不对外输出。**cell state** 是实现LSTM的关键。

通常我们只需拿到 hidden state 作为输LSTM的输出就够了，而不需要访问cell state，但是当想要设计复杂一点的网络的话，就需要用到cell state，比如encoder-decoder模型和Attention机制。

## Keras 的 LSTM layer ##

keras.layers.LSTM()函数中，获取 hidden state 和 cell state 就需要以下两个重要的参数：

*  **return\_sequences**: 是否返回全部时间步的 hidden state. False返回最后那步的，True返回全部。默认False
 *  **return\_state**: 是否返回最后一步的 cell state。 默认False，即不返回 cell state，只返回 hidden state

--------------------

## 两种参数的实验 ##

### 0. 载入包 ###

from keras.models import Model 
    from keras.layers import Input,LSTM
    import numpy as np

### 1.return\_sequences = False && return\_state = False ###

设置`lstm = LSTM(1)`  
Keras API 中，return\_sequences和return\_state默认就是false。此时只会返回一个hidden state 值。如果input 数据包含多个时间步，则这个hidden state 是最后一个时间步的结果

# define model
    inputs = Input(shape = (3,1))
    lstm = LSTM(1)(inputs)   # return_sequences = True & return_state = False
    model = Model(inputs = inputs,outputs = lstm)
    
    # define data and predict
    data = np.array([0.1,0.2,0.3]).reshape([1,3,1])
    print(model.predict(data))

输出结果：

array([[-0.13695435]], dtype=float32)    # 最后一个时间步对应的 hidden state

--------------------

### 2.return\_sequences=True && return\_state=False ###

设置 `LSTM(1,return_sequences = True)`  
输出所有时间步的hidden state。

# define model
    inputs = Input(shape = (3,1))
    lstm = LSTM(1,return_sequences = True)(inputs)   # return_sequences = True & return_state = False
    model = Model(inputs = inputs,outputs = lstm)
    
    # define data and predict
    data = np.array([0.1,0.2,0.3]).reshape([1,3,1])
    print(model.predict(data))

结果：

array([[[-0.01409399],                   # 第一步对应的 hidden state
            [-0.03686725], 					 # 第二步对应的 hidden state
            [-0.06507621]]], dtype=float32)  # 第三步对应的 hidden state

### 3.return\_sequences=False && return\_state=True ###

设置`lstm, state_h, state_c = LSTM(1,return_state = True)`  
lstm 和 state\_h 结果都是 hidden state。在这种参数设定下，它们俩的值相同，都是最后一个时间步的 hidden state。 state\_c 是最后一个时间步 cell state结果。

# define model
    inputs = Input(shape = (3,1))
    lstm, state_h, state_c = LSTM(1,return_state = True)(inputs)   # return_sequences = False & return_state = Ture
    model = Model(inputs = inputs,outputs = [lstm, state_h, state_c])
    
    # define data and predict
    data = np.array([0.1,0.2,0.3]).reshape([1,3,1])
    print(model.predict(data))

结果：

[array([[0.15450114]], dtype=float32),     # lstm：     最后时间步对应的 hidden state
     array([[0.15450114]], dtype=float32),       # state_h: 最后时间步的 hidden state
     array([[0.2794191]], dtype=float32)]        # state_c： 最后时间步的 cell state

### 4.return\_sequences=True && return\_state=True ###

lstm, state_h, state_c = LSTM(1,return_sequences = True, return_state = True)

此时，既输出全部时间步的 hidden state ，又输出 cell state：

*  lstm 存放的就是全部时间步的 hidden state。
 *  state\_h 存放的是最后一个时间步的 hidden state
 *  state\_c 存放的是最后一个时间步的 cell state

结果：

[array([[[0.02849635],
             [0.08156213],
             [0.15450114]]], dtype=float32),     # lstm：   三个时间步对应的 hidden state
     array([[0.15450114]], dtype=float32),       # state_h: 最后时间步的 hidden state
     array([[0.2794191]], dtype=float32)]        # state_c： 最后时间步的 cell state

可以看到state\_h 的值和 lstm 的最后一个时间步的值相同。

--------------------

## 总结 ##

`return_sequences`：返回每个时间步的hidden state  
`return_state` ：返回最后一个时间步的hidden state 和cell state  
`return_sequences` 和 `return_state` ：可同时使用，三者都输出

[Understand the Difference Between Return Sequences and Return States for LSTMs in Keras]: https://machinelearningmastery.com/return-sequences-and-return-states-for-lstms-in-keras/
[Github_Keras_LSTM layer_return_sequences_return_state_.ipynb]: https://github.com/ZhangRaymond/Learning-Note/blob/master/Keras%EF%BC%9ALSTM%20layer%E7%9A%84return_sequences%E5%92%8Creturn_state%E5%8F%82%E6%95%B0%E8%AF%A6%E8%A7%A3.ipynb
[Understanding LSTM Networks]: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
[LSTM]: /images/20220221/93795e0e5bc84db0b93876ee877283d1.png