LSTM基本原理及实践（下）（更新中）

朱雀 2022-12-21 15:47 93阅读 0赞

本文内容是上文[《LSTM基本原理及实践（上）》][LSTM]的实战篇：手动实现LSTM网络并对文本数据进行分类。  
本文的内容和资料是来自*2020 Google DevFest TensorFlow CodeLab*活动中段清华老师的分享~

--------------------

## 任务描述 ##

*  基本任务：不使用TF官方的LSTM层，实现一个自定义的、继承自`tf.keras.Layer`的LSTM层
 *  进阶任务：基于以上任务，实现一个直接以字符串为输入的文本分类模型
 *  终极任务：基于以上模型，训练互联网情感分析数据集INEWS，并给出训练后的准确率。

## 数据集 ##

*  各系统用户可以通过终端下载数据集，我以天池notebook环境为例：`pip install zh-dataset-inews`
 *  注意 天池notebook中下载完数据集需要重启kernel  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center]
 *  查看数据集

from zh_dataset_inews import title_train,label_train,content_train
    len(title_train)

输出：  
![在这里插入图片描述][20201116215425381.png_pic_center]

for x,y in zip(title_train[:10],label_train[:10]):
        print(x,y)

输出：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 1]

--------------------

## LSTM手动实现 ##

前置知识：

*  LSTM原理具体可以看[《LSTM基本原理及实践（上）》][LSTM]
 *  LSTM相关公式如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 2]
 *  根据[官方手册][Link 1]，自定义实现一个模型主要是三步：
    
     *  `__init__` ：进行于输入无关的初始化
     *  `build`：当你知道输入的张量的维度时也可以将他们初始化
     *  `call`：进行前向计算

#### 1 基础任务 ####

class CustomLSTM(tf.keras.layers.Layer):
        """ #LSTM's input:{batch_size,sequence_length,input_size} #LSTM'S output 1:{batch_size,sequence_length,output_size} # output 2:{batch_size,output_size} """
        def __init__(self,output_size,return_sequences=False):
            super(CustomLSTM,self).__init__()
            self.output_size=output_size
            self.return_sequences=return_sequences
            
        def build(self,input_shape):
            super(CustomLSTM,self).build(input_shape)
            input_size=int(input_shape[-1])
            
            self.wf=self.add_weight('wf',shape=(input_size,self.output_size))
            self.wi=self.add_weight('wi',shape=(input_size,self.output_size))
            self.wo=self.add_weight('wo',shape=(input_size,self.output_size))
            self.wc=self.add_weight('wc',shape=(input_size,self.output_size))
    
            self.uf=self.add_weight('uf',shape=(self.output_size,self.output_size))
            self.ui=self.add_weight('ui',shape=(self.output_size,self.output_size))
            self.uo=self.add_weight('uo',shape=(self.output_size,self.output_size))
            self.uc=self.add_weight('uc',shape=(self.output_size,self.output_size))
    
    
            self.bf=self.add_weight('bf',shape=(1,self.output_size))
            self.bi=self.add_weight('bi',shape=(1,self.output_size))
            self.bo=self.add_weight('bo',shape=(1,self.output_size))
            self.bc=self.add_weight('bc',shape=(1,self.output_size))
            
        def call(self,x):
            sequence_outputs=[]
            for i in range(sequence_length):
                if i==0:
                    xt=x[:,0,:]
                    ft=tf.sigmoid(tf.matmul(xt,self.wf)+self.bf)
                    it=tf.sigmoid(tf.matmul(xt,self.wi)+self.bi)
                    ot=tf.sigmoid(tf.matmul(xt,self.wo)+self.bo)
                    cht=tf.tanh(tf.matmul(xt,self.wc)+self.bc)
                    ct=it*cht
                    ht=ot*tf.tanh(ct)
                else:
                    xt=x[:,i,:]
                    ft=tf.sigmoid(tf.matmul(xt,self.wf)+tf.matmul(ht,self.uf)+self.bf)
                    it=tf.sigmoid(tf.matmul(xt,self.wi)+tf.matmul(ht,self.ui)+self.bi)
                    ot=tf.sigmoid(tf.matmul(xt,self.wo)+tf.matmul(ht,self.uo)+self.bo)
                    cht=tf.tanh(tf.matmul(xt,self.wc)+tf.matmul(ht,self.uc)+self.bc)
                    ct=ft*ct+it*cht
                    ht=ot*tf.tanh(ct)
                sequence_outputs.append(ht)
                
            sequence_outputs=tf.stack(sequence_outputs)
            #转置一下
            sequence_outputs=tf.transpose(sequence_outputs,(1,0,2))  
            if self.return_sequences:
                return sequence_outputs
            return sequence_outputs[:,-1,:]

*  随便设个参数测试一下：

model=tf.keras.Sequential([
        CustomLSTM(output_size=32),
        tf.keras.layers.Dense(2,activation='softmax')
    ])
    model.compile(
        loss=tf.keras.losses.SparseCategoricalCrossentropy(),
        optimizer=tf.keras.optimizers.Adam()    
    )
    
    x_batch=tf.random.uniform((batch_size,sequence_length,input_size))
    y_batch=tf.random.uniform((batch_size,),maxval=2,dtype=tf.int32)
    
    model.train_on_batch(x_batch,y_batch)

输出：![在这里插入图片描述][20201116231019216.png_pic_center]

*  可以看到正常运行，至此基本任务完成

#### 2 进阶任务 ####

*  待更新

#### 3 终极任务 ####

*  待更新

--------------------

参考资料：

*  [如何构建一个TensorFlow的自定义层][Link 1]
 *  [LiveCoding如何用TensorFlow2.x手写LSTM底层算法][LiveCoding_TensorFlow2.x_LSTM]

[LSTM]: https://blog.csdn.net/qq_43145926/article/details/109587338
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/0fcbc63411c64063917b1aa3f1a21cc9.png
[20201116215425381.png_pic_center]: https://img-blog.csdnimg.cn/20201116215425381.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201116215609604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201116212536459.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTQ1OTI2,size_16,color_FFFFFF,t_70#pic_center
[Link 1]: https://www.tensorflow.org/tutorials/customization/custom_layers
[20201116231019216.png_pic_center]: https://img-blog.csdnimg.cn/20201116231019216.png#pic_center
[LiveCoding_TensorFlow2.x_LSTM]: https://www.bilibili.com/video/BV1FV41117Uz/