深度学习从零开始 —— 神经网络数学基础（一），学习Keras库的使用，神经网络简单流程，MNIST数据集使用

短命女 2023-07-12 09:28 51阅读 0赞

## 实验环境 ##

PyCharm Community Edition 2019  
python 3.6  
Keras库及相关引用库（numpy，scipy）  
(官网[https://keras.io/][https_keras.io])

（配置环境参照[RNN & LSTM 学习笔记 —— Anaconda安装，Python安装，PyTorch，Tensorflow配置][RNN _ LSTM _ _ Anaconda_Python_PyTorch_Tensorflow]）

## 开坑~ ##

# MNIST数据集 #

先来看一下机器学习领域中经典的MNIST数据集，这个数据集包括60000张训练图和10000张测试图，均为手写数字的灰度图（28像素\*28像素），划分到10个类别中（0~9）。

from keras.datasets import mnist
    
    #加载Keras中的MNIST数据集
    (train_image,train_labels),(test_images,test_labels) = mnist.load_data()
    
    #打印训练集相关
    print(train_image.shape)
    print(len(train_labels))
    print(train_labels)
    #打印测试集相关
    print(test_images.shape)
    print(len(test_labels))
    print(test_labels)

train\_image和train\_labels组成了训练集 training set  
test\_images和test\_labels组成了测试集 test set

图像被编码为Numpy数组，标签是数字数组，取值0~9

分类问题中，某个 **类别** 叫做 **类**（class），数据点叫做 **样本**（sample），某个样本对应的类叫做 **标签**（label）。

运行时会先下载数据集。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70]  
结果打印如下：  
![在这里插入图片描述][20200308134226284.png]

# 构建一个网络 #

from keras import models
    from keras import layers
    
    network = models.Sequential()
    network.add(layers.Dense(512,activation='relu',input_shape=(28*28,)))
    network.add(layers.Dense(10,activation='softmax'))

神经网络的核心组件——**层**（layer），可以看成是数据的过滤。将大量的简单层链接起来，实现渐进式的**数据蒸馏**（data distillation）

上面的代码包含两个Dense层，是**全连接**的神经层。  
第二层（也就是最后一层）是一个10路**softmax**层，它将返回由10个概率值（和为1）组成的数组。

# 选择编译参数 #

训练网络还需要选择编译（compile）的三个参数

**损失函数**（loss function）：如何衡量训练数据的性能，即朝着正确的方向  
**优化器**（optimizer）：基于训练数据和损失函数，更新网络  
**训练和测试过程中需要监控的指标**（metric）：正确的比例，例子里面只关心精度

network.compile(optimizer='rmsprop',
                    loss='categorical_crossentropy',
                    metrics=['accuracy'])

# 准备图像数据 #

训练前，需要数据预处理，变成网络要求的形状。  
缩放到所有值都在\[0, 1\]区间，默认MNIST的图数据都是\[0, 255\]。  
转换为float32的数组，形状为（60000,28\*28）。默认为uint8类型的（60000,28,28）。

train_image = train_image.reshape((60000,28*28))
    train_image = train_image.astype('float32')/255
    
    test_images = test_images.reshape((10000,28*28))
    test_images = test_images.astype('float32')/255

# 对标签进行分类编码 #

from keras.utils import to_categorical
    
    train_labels = to_categorical(train_labels)
    test_labels = to_categorical(test_labels)

# 开始训练网络 #

Keras中是通过调用 fit方法。完成训练集上**拟合**（fit）模型。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][20200308144221854.png]  
可以看到两个数字，损失（loss）和精度（acc）。在训练集上打到了98.88%的准确度。

# 在测试集检测 #

test_loss,test_acc = network.evaluate(test_images,test_labels)
    print('test_acc: ',test_acc)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 2]  
测试集精度为97.97%，比训练集低。  
训练精度和测试精度之间的这种差距是**过拟合**（overfit）造成的。  
过拟合：机器学习模型在新数据上的性能往往比在训练数据上要差。

具体之后在深入学习。

# 总结 #

以上是神经网络的构建和训练，对手写字的分类。

完整代码如下：

from keras.datasets import mnist
    from keras import models
    from keras import layers
    from keras.utils import to_categorical
    
    #加载Keras中的MNIST数据集
    (train_image,train_labels),(test_images,test_labels) = mnist.load_data()
    
    #打印训练集相关
    print(train_image.shape)
    print(len(train_labels))
    print(train_labels)
    #打印测试集相关
    print(test_images.shape)
    print(len(test_labels))
    print(test_labels)
    
    #网络结构
    network = models.Sequential()
    network.add(layers.Dense(512,activation='relu',input_shape=(28*28,)))
    network.add(layers.Dense(10,activation='softmax'))
    
    #编译步骤参数
    network.compile(optimizer='rmsprop',
                    loss='categorical_crossentropy',
                    metrics=['accuracy'])
    
    #准备图像数据
    train_image = train_image.reshape((60000,28*28))
    train_image = train_image.astype('float32')/255
    
    test_images = test_images.reshape((10000,28*28))
    test_images = test_images.astype('float32')/255
    
    #准备标签
    train_labels = to_categorical(train_labels)
    test_labels = to_categorical(test_labels)
    
    #训练集拟合模型
    network.fit(train_image,train_labels,epochs=5,batch_size=128)
    
    #测试集上测试
    test_loss,test_acc = network.evaluate(test_images,test_labels)
    print('test_acc: ',test_acc)

[https_keras.io]: https://keras.io/
[RNN _ LSTM _ _ Anaconda_Python_PyTorch_Tensorflow]: https://blog.csdn.net/wwb1990/article/details/103883775
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200308132314166.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA=,size_16,color_FFFFFF,t_70
[20200308134226284.png]: https://img-blog.csdnimg.cn/20200308134226284.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200308144141799.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA=,size_16,color_FFFFFF,t_70
[20200308144221854.png]: https://img-blog.csdnimg.cn/20200308144221854.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200308144635289.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA=,size_16,color_FFFFFF,t_70