tensorflow中tf.dynamic_rnn使用，outputs和state理解

小鱼儿 2022-05-29 03:11 124阅读 0赞

## tf.dynamic\_rnn ##

![Image 1][]

tensorflow 的dynamic\_rnn，我们用一个小例子来说明其用法，假设你的RNN的输入input是\[2,3,4\]，其中2是batch\_size,3是文本最大长度,一般叫num\_steps或者seq\_length，4是embedding\_size。我们假设第二个文本长度只有2，剩下的1个是使用0-padding方法填充的。dynamic\_rnn返回的是两个参数：outputs,last\_states，其中outputs是\[2,3,4\]，也就是每一个迭代隐状态的输出,它包括了训练中所有隐层状态，而last\_states是由(c,h)组成的tuple，大小均为\[batch,hidden\_size\]也就是\[2,2\]。

到这里并没有什么不同，但是dynamic有个参数：sequence\_length，这个参数用来指定每个example的长度，比如上面的例子中，我们令 sequence\_length为\[3,2\]，表示第一个example有效长度为3，第二个example有效长度为2，当我们传入这个参数的时候，对于第二个batch，TensorFlow对于2以后的padding就不计算了，其last\_states将重复第2步的last\_states直至第3步，而outputs中超过第2步的结果将会被置零。

具体看代码和输出：

import tensorflow as tf
    import numpy as np
    
    # 产生2个batch数据，句子length为3，embedding大小为4
    X = np.random.randn(2, 3, 4)
    
    # 第二个batch长度为2
    X[1,2:] = 0
    X_lengths = [3, 2]
    print(X)
    # cell = tf.contrib.rnn.BasicLSTMCell(num_units=64, state_is_tuple=True)
    cell=tf.nn.rnn_cell.BasicLSTMCell(num_units=2,state_is_tuple=True)
    
    outputs, last_states = tf.nn.dynamic_rnn(
        cell=cell,
        dtype=tf.float64,
        sequence_length=X_lengths,
        inputs=X)
    
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
    
        o=sess.run(outputs)
        s=sess.run(last_states)
        print('output\n',o)
        print('last_o\n',o[:,-1,:])# 从output中取最后一次输出
    
        print('--------------------')
        print('s\n',s)
        print('s.c\n',s.c)    # 这是门控单元的权重，这里不需要
        print('s.h\n',s.h)    #s.h就是最后一次输出的状态

产生以下输出：

首先能看到第二个句子最后一行全是0，说明句子长度为2，后面的0相当于pading上的。

然后经过LSTM产生两个输出，output和state

在output中，发现第二个句子经过训练后，最后产生的状态全是0，但是在state中用s.h能找到其最后一次输出不是0，而是与output中最后一次不是0的一致，如下面加上高亮的几个数，这些输出是一样的。所以如果想用dynamic\_rnn得到输出后，只需要最后一次的状态输出，直接调用s.h即可。

![Image 1][]

[Image 1]: