Tensorflow2.x可视化训练结果

àì夳堔傛蜴生んèń 2022-11-26 09:43 192阅读 0赞

# Tensorflow2.x可视化训练结果 #

## 综述 ##

在本篇文章中我们将对上一篇文章[基于LeNet-5的MNIST手写数字识别][LeNet-5_MNIST]中的训练结果利用matplotlib进行可视化的操作。

在进行可视化操作之前你需要学会的技能有:

*  [matplotlib][]
 *  [numpy][]

如果你不会使用这两个库的话，可以点击上面的超链接学习。

## 获取训练数据 ##

在Tensorflow2.x中当我们使用[keras][]来进行模型的训练时使用了一个叫**fit**的函数,如下所示：

# 网络定义
    network = Sequential([
        # 卷积层1
        layers.Conv2D(filters=6,kernel_size=(5,5),activation="relu",input_shape=(28,28,1),padding="same"),
        layers.MaxPool2D(pool_size=(2,2),strides=2),
        
        # 卷积层2
        layers.Conv2D(filters=16,kernel_size=(5,5),activation="relu",padding="same"),
        layers.MaxPool2D(pool_size=2,strides=2),
        
        # 卷积层3
        layers.Conv2D(filters=32,kernel_size=(5,5),activation="relu",padding="same"),
        
        layers.Flatten(),
        
        # 全连接层1
        layers.Dense(200,activation="relu"),
        
        # 全连接层2
        layers.Dense(10,activation="softmax")    
    ])
    network.summary()
    
    # 模型训练 训练30个epoch
    network.compile(optimizer='adam',loss="sparse_categorical_crossentropy",metrics=["accuracy"])
    network.fit(trainImage,trainLabel,epochs=30,validation_split=0.1)

我们使用了**network.fit**进行了网络的训练，我们如果需要获得训练的结果的话需要添加如下的写法

# 模型训练 训练30个epoch
    history = network.fit(trainImage,trainLabel,epochs=30,validation_split=0.1)
    data = history.history

这里的history可以读取获得我们的训练数据，它返回的是一个python的字典格式。为了方便数据的处理，我们可以将其存储为json格式的文件。

# json文件写入
    def save_json(data):
        with open('history.json', 'w') as json_file:
            json.dump(data, json_file)
    
    # 保存训练结果
    save_json(data)

在进行json文件的写入时记得导入json库，然后完成json文件的保存。

当我们保存完毕后可以获得一个叫history.json的文件，里面保存着我们的训练数据。

{
        
        "loss": [
            xxx,
        ],
        "accuracy": [
            xxx,
        ],
        "val_loss": [
            xxx,
        ],
        "val_accuracy": [
            xxx,
        ]
    }

其中四个字段的解释如下：

<table> 
 <thead> 
  <tr> 
   <th>loss</th> 
   <th>accuracy</th> 
   <th>val_loss</th> 
   <th>val_accuracy</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>训练中的loss</td> 
   <td>训练中的准确率</td> 
   <td>测试中的loss</td> 
   <td>测试中的准确率</td> 
  </tr> 
 </tbody> 
</table>

## 读取文件完成可视化操作 ##

**导入库**

import matplotlib.pyplot as plt
    import numpy as np
    import json

### 读取history.json文件 ###

# 载入数据
    def load_data():
    
        try:
            with open('history.json','r') as json_file:
                data = json.load(json_file)
                print('data load success!')
        except:
            print('data load failed!')
        return data

### 解析数据 ###

# 读取数据
    def get_data(data):
        # 训练集损失数据
        loss = data['loss']
        np_loss = np.array(loss)
        y_loss = np_loss
        x_epoch = np.arange(30)
    
        # 训练集准确度数据
        acc = data['accuracy']
        np_acc = np.array(acc)
        y_acc = np_acc
        x_epoch = np.arange(30)
    
        # 测试集损失数据
        val_loss = data['val_loss']
        np_val_loss = np.array(val_loss)
        y_val_loss = np_val_loss
        x_epoch = np.arange(30)
    
        # 测试集准确度数据
        val_acc = data['val_accuracy']
        np_val_acc = np.array(val_acc)
        y_val_acc = np_val_acc
        x_epoch = np.arange(30)
    
        return y_loss,y_acc,y_val_loss,y_val_acc,x_epoch

**注意!** 为了方便matplotlib进行图形的绘制我们将数据转为numpy的array格式，具体代码如上所示。

### 绘制结果 ###

**这里我们绘制一个两行两列的图像，使用matplotlib来进行绘制**

def main():
        data = load_data()
        y_loss,y_acc,y_val_loss,y_val_acc,x_epoch = get_data(data)
    
        plt.figure(figsize=(10,4))
        # loss图像
        plt.subplot(2,2,1)
        plt.plot(x_epoch,y_loss,label='loss')
        plt.legend()
        plt.xlabel('epoch')
        plt.ylabel('loss')
    
        # acc图像
        plt.subplot(2,2,2)
        plt.plot(x_epoch,y_acc,label='acc',color='red')
        plt.legend()
        plt.xlabel('epoch')
        plt.ylabel('acc')
        plt.ylim(0.9,1)
    
        # val_loss图像
        plt.subplot(2,2,3)
        plt.plot(x_epoch,y_val_loss,label='val_loss')
        plt.legend()
        plt.xlabel('epoch')
        plt.ylabel('val_loss')
    
        # val_acc图像
        plt.subplot(2,2,4)
        plt.plot(x_epoch,y_val_acc,label='val_acc',color='red')
        plt.legend()
        plt.xlabel('epoch')
        plt.ylabel('val_acc')
        plt.ylim(0.9,1)
    
        plt.show()

## 结果展示 ##

**绘制结果如下所示**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N4ZGNmYg_size_16_color_FFFFFF_t_70]

[LeNet-5_MNIST]: http://blog.luoshaoqi.cn/app/post/27
[matplotlib]: https://www.runoob.com/w3cnote/matplotlib-tutorial.html
[numpy]: https://www.runoob.com/numpy/numpy-tutorial.html
[keras]: https://zhuanlan.zhihu.com/p/58825020
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N4ZGNmYg_size_16_color_FFFFFF_t_70]: /images/20221124/a8fc6e3738974ecfa30145fb99072e37.png