深度学习卷积神经网络

怼烎@ 2024-03-31 14:55 120阅读 0赞

#### 目录 ####

*  1 CNN网络的构成
 *  2 卷积层
 *   *  2.1 卷积的计算方法
     *  2.2 padding（填充）
     *  2.3 stride（步长）
     *  2.4 多通道卷积
     *  2.5 多卷积核卷积
     *  2.6 特征图大小
 *  3 池化层(Pooling)
 *   *  3.1 最大池化
     *  3.2 平均池化
 *  4 全连接层
 *  5 卷积神经网络的构建
 *   *  5.1 数据加载
     *  5.2 数据处理
     *  5.3 模型搭建
     *  5.4 模型编译
     *  5.5 模型训练
     *  5.6 模型评估
 *  6 总结

--------------------

## 1 CNN网络的构成 ##

![在这里插入图片描述][52aa89e995a24bc8a2bf869704f22b7e.png]

利用全连接[神经网络][Link 1]对图像进行处理存在以下两个问题：

1.  需要处理的数据量大，效率低

假如我们处理一张 1000×1000 像素的图片，参数量如下：

1000×1000×3=3,000,000

这么大量的数据处理起来是非常消耗资源的

![在这里插入图片描述][fd8d99c2b2c7476483ac19d3b0488e15.png]

1.  图像在维度调整的过程中很难保留原有的特征，导致图像处理的准确率不高

![在这里插入图片描述][6e29ca36fdf444c3b7f810b5b92d810b.png]

假如有圆形是1，没有圆形是0，那么圆形的位置不同就会产生完全不同的数据表达。但是从图像的角度来看，**图像的内容（本质）并没有发生变化，只是位置发生了变化**。所以当我们移动图像中的物体，用全连接升降得到的结果会差异很大，这是不符合图像处理的要求的。

CNN网络受人类视觉神经系统的启发，人类的视觉原理：从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只人脸）。下面是人脑进行人脸识别的一个示例：

![在这里插入图片描述][ea265bd593b046508a10bfb757c983f8.png]

CNN网络主要有三部分构成：卷积层、[池化][Link 2]层和全连接层构成，其中卷积层负责提取图像中的局部特征；池化层用来大幅降低参数量级(降维)；全连接层类似人工神经网络的部分，用来输出想要的结果。

![在这里插入图片描述][49e485d8fcad43c49c8a73e0dcf9f7e8.png]

整个CNN网络结构如下图所示：

![在这里插入图片描述][de85f1b67bf44b2a81dc7f7d047ba33e.png]

## 2 卷积层 ##

卷积层是卷积神经网络中的核心模块，卷积层的目的是提取输入特征图的特征，如下图所示，卷积核可以提取图像中的边缘信息。

![在这里插入图片描述][bd1a00ade96248b78795100ea8a5e76d.png]

### 2.1 卷积的计算方法 ###

那卷积是怎么进行计算的呢？

![在这里插入图片描述][b95d937164c44606817c591c4575e99d.png]

卷积运算本质上就是在滤波器和输入数据的局部区域间做点积。

![在这里插入图片描述][e2fba1d23750450485d0f30a0ccda501.png]

左上角的点计算方法：

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Vin9gmHz-1645353093393)(笔记图片/image-20200803190551983.png)\]][img-Vin9gmHz-1645353093393_image-20200803190551983.png]

同理可以计算其他各点，得到最终的卷积结果，

![在这里插入图片描述][d7315671087d44b0a1164d44c72f5554.png]

最后一点的计算方法是：

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Bv1PltuW-1645353093395)(笔记图片/image-20200803190718913.png)\]][img-Bv1PltuW-1645353093395_image-20200803190718913.png]

### 2.2 padding（填充） ###

在上述卷积过程中，特征图比原始图减小了很多，我们可以在原图像的周围进行padding,来保证在卷积过程中特征图大小不变。

![在这里插入图片描述][9cf8d6e03a65425e9e8ffdfd879fa119.png]

### 2.3 stride（步长） ###

按照步长为1来移动卷积核，计算特征图如下所示：

![在这里插入图片描述][0c8ee087e974433fa6c934c259ec978d.png]

如果我们把stride增大,比如设为2，也是可以提取特征图的，如下图所示：

![在这里插入图片描述][0ebd22d8cd2a419f8663f28068e26420.png]

### 2.4 多通道卷积 ###

实际中的图像都是多个通道组成的，我们怎么计算卷积呢？

![在这里插入图片描述][cc13ee4a0374448ebf1668dbb27ff8dc.png]

计算方法如下：当输入有多个通道（channel）时(例如图片可以有 RGB 三个通道)，卷积核需要拥有相同的channel数,每个卷积核 channel 与输入层的对应 channel 进行卷积，将每个 channel 的卷积结果按位相加得到最终的 Feature Map

![在这里插入图片描述][837f203c3e7b43f495232c8a97008643.png]

### 2.5 多卷积核卷积 ###

如果有多个卷积核时怎么计算呢？当有多个卷积核时，每个卷积核学习到不同的特征，对应产生包含多个 channel 的 Feature Map, 例如下图有两个 filter，所以 output 有两个 channel。

![在这里插入图片描述][bb3df48889994c67808f043030a44b23.png]

### 2.6 特征图大小 ###

输出特征图的大小与以下参数息息相关： \* size:卷积核/过滤器大小，一般会选择为奇数，比如有1 \* 1， 3 \* 3， 5 \* 5 \* padding：零填充的方式 \* stride:步长

那计算方法如下图所示：

![在这里插入图片描述][7c035356d9594f29af9967ff05ccbaae.png]

输入特征图为5x5，卷积核为3x3，外加padding 为1，则其输出尺寸为：

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-19Z4hfdw-1645353093398)(笔记图片/image-20200803193552845.png)\]][img-19Z4hfdw-1645353093398_image-20200803193552845.png]

如下图所示：

![在这里插入图片描述][5d612c41ee184377ba360c8a19985850.png]

在tf.keras中卷积核的实现使用

tf.keras.layers.Conv2D(
        filters, kernel_size, strides=(1, 1), padding='valid', 
         activation=None
    )

主要参数说明如下：

![在这里插入图片描述][cf7258aebbb84e05b5d5dbdc9cd06ab2.png]

## 3 池化层(Pooling) ##

池化层迎来降低了后续网络层的输入维度，缩减模型大小，提高计算速度，并提高了Feature Map 的鲁棒性，防止过拟合，

它主要对卷积层学习到的特征图进行下采样（subsampling）处理，主要由两种

### 3.1 最大池化 ###

*  **Max Pooling,取窗口内的最大值作为输出**，这种方式使用较广泛。

![在这里插入图片描述][5b5e2e0ed7b546fc986d61cee0ec0470.png]

在tf.keras中实现的方法是：

tf.keras.layers.MaxPool2D(
        pool_size=(2, 2), strides=None, padding='valid'
    )

参数：

pool_size: 池化窗口的大小
    
    strides: 窗口移动的步长，默认为1
    
    padding: 是否进行填充，默认是不进行填充的

### 3.2 平均池化 ###

Avg Pooling,取窗口内的所有值的均值作为输出

![在这里插入图片描述][3083408f624246ce93dd29783598ec72.png]

在tf.keras中实现池化的方法是：

tf.keras.layers.AveragePooling2D(
        pool_size=(2, 2), strides=None, padding='valid'
    )

## 4 全连接层 ##

全连接层位于CNN网络的末端，经过卷积层的特征提取与池化层的降维后，将特征图转换成一维向量送入到全连接层中进行分类或回归的操作。

![在这里插入图片描述][944b3813b9b14a5e8965885819d624bc.png]

在tf.keras中全连接层使用tf.keras.dense实现。

## 5 卷积神经网络的构建 ##

我们构建卷积神经网络在mnist数据集上进行处理，如下图所示：LeNet-5是一个较简单的卷积神经网络, 输入的二维图像，先经过两次卷积层,池化层，再经过全连接层，最后使用softmax分类作为输出层。

![在这里插入图片描述][b7933b262c8c4bf993f4690d48604275.png]

导入工具包：

import tensorflow as tf
    # 数据集
    from tensorflow.keras.datasets import mnist

### 5.1 数据加载 ###

与神经网络的案例一致，首先加载数据集：

(train_images, train_labels), (test_images, test_labels) = mnist.load_data()

### 5.2 数据处理 ###

卷积神经网络的输入要求是：N H W C ，分别是图片数量，图片高度，图片宽度和图片的通道，因为是灰度图，通道为1.

# 数据处理：num,h,w,c
    # 训练集数据
    train_images = tf.reshape(train_images, (train_images.shape[0],train_images.shape[1],train_images.shape[2], 1))
    print(train_images.shape)
    # 测试集数据
    test_images = tf.reshape(test_images, (test_images.shape[0],test_images.shape[1],test_images.shape[2], 1))

结果为：

(60000, 28, 28, 1)

### 5.3 模型搭建 ###

Lenet-5模型输入的二维图像，先经过两次卷积层,池化层，再经过全连接层，最后使用softmax分类作为输出层，模型构建如下：

# 模型构建
    net = tf.keras.models.Sequential([
        # 卷积层：6个5*5的卷积核，激活是sigmoid
          tf.keras.layers.Conv2D(filters=6,kernel_size=5,activation='sigmoid',input_shape=  (28,28,1)),
        # 最大池化
        tf.keras.layers.MaxPool2D(pool_size=2, strides=2),
        # 卷积层：16个5*5的卷积核,激活是sigmoid
        tf.keras.layers.Conv2D(filters=16,kernel_size=5,activation='sigmoid'),
        # 最大池化
        tf.keras.layers.MaxPool2D(pool_size=2, strides=2),
        # 维度调整为1维数据
        tf.keras.layers.Flatten(),
        # 全卷积层，激活sigmoid
        tf.keras.layers.Dense(120,activation='sigmoid'),
        # 全卷积层，激活sigmoid
        tf.keras.layers.Dense(84,activation='sigmoid'),
        # 全卷积层，激活softmax
        tf.keras.layers.Dense(10,activation='softmax')
    
    ])

我们通过net.summary()查看网络结构：

Model: "sequential_11"
    _________________________________________________________________
    Layer (type)                 Output Shape              Param #   
    =================================================================
    conv2d_4 (Conv2D)            (None, 24, 24, 6)         156       
    _________________________________________________________________
    max_pooling2d_4 (MaxPooling2 (None, 12, 12, 6)         0         
    _________________________________________________________________
    conv2d_5 (Conv2D)            (None, 8, 8, 16)          2416      
    _________________________________________________________________
    max_pooling2d_5 (MaxPooling2 (None, 4, 4, 16)          0         
    _________________________________________________________________
    flatten_2 (Flatten)          (None, 256)               0         
    _________________________________________________________________
    dense_25 (Dense)             (None, 120)               30840     
    _________________________________________________________________
    dense_26 (Dense)             (None, 84)                10164     
    
    dense_27 (Dense)             (None, 10)                850       
    =================================================================
    Total params: 44,426
    Trainable params: 44,426
    Non-trainable params: 0
    ______________________________________________________________

参数量计算

手写数字输入图像的大小为28x28x1，如下图，我们来看下卷积层的参数量：

conv1中的卷积核为5x5x1,卷积核个数为6，每个卷积核有一个bias，所以参数量为：5x5x1x6+6=156。

conv2中的卷积核为5x5x6,卷积核个数为16，每个卷积核有一个bias，所以参数量为:5x5x6x16+16 = 2416。

### 5.4 模型编译 ###

设置优化器和损失函数：

# 优化器
    optimizer = tf.keras.optimizers.SGD(learning_rate=0.9)
    # 模型编译：损失函数，优化器和评价指标
    net.compile(optimizer=optimizer,
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])

### 5.5 模型训练 ###

模型训练：

# 模型训练
    net.fit(train_images, train_labels, epochs=5, validation_split=0.1)

训练流程：

Epoch 1/5
    1688/1688 [==============================] - 10s 6ms/step - loss: 0.8255 - accuracy: 0.6990 - val_loss: 0.1458 - val_accuracy: 0.9543
    Epoch 2/5
    1688/1688 [==============================] - 10s 6ms/step - loss: 0.1268 - accuracy: 0.9606 - val_loss: 0.0878 - val_accuracy: 0.9717
    Epoch 3/5
    1688/1688 [==============================] - 10s 6ms/step - loss: 0.1054 - accuracy: 0.9664 - val_loss: 0.1025 - val_accuracy: 0.9688
    Epoch 4/5
    1688/1688 [==============================] - 11s 6ms/step - loss: 0.0810 - accuracy: 0.9742 - val_loss: 0.0656 - val_accuracy: 0.9807
    Epoch 5/5
    1688/1688 [==============================] - 11s 6ms/step - loss: 0.0732 - accuracy: 0.9765 - val_loss: 0.0702 - val_accuracy: 0.9807

### 5.6 模型评估 ###

# 模型评估
    score = net.evaluate(test_images, test_labels, verbose=1)
    print('Test accuracy:', score[1])

输出为：

313/313 [==============================] - 1s 2ms/step - loss: 0.0689 - accuracy: 0.9780
    Test accuracy:  0.9779999852180481

与使用全连接网络相比，准确度提高了很多。

## 6 总结 ##

*  卷积神经网路的组成

卷积层，池化层，全连接层

*  卷积层

卷积的计算过程，stride,padding…

*  池化层

最大池化和平均池化

*  CNN结构的实现和构建实现程序

[52aa89e995a24bc8a2bf869704f22b7e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4895b38f32d049a9b9a75e899efbba85.png
[Link 1]: https://so.csdn.net/so/search?q=%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C&spm=1001.2101.3001.7020
[fd8d99c2b2c7476483ac19d3b0488e15.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/cb2309c9a4f24733975ee4daed3fdf17.png
[6e29ca36fdf444c3b7f810b5b92d810b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/608193206fb84ea698e5f216e01b80ad.png
[ea265bd593b046508a10bfb757c983f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/82dfa7f549d644e887e3eb5aa60ce379.png
[Link 2]: https://so.csdn.net/so/search?q=%E6%B1%A0%E5%8C%96&spm=1001.2101.3001.7020
[49e485d8fcad43c49c8a73e0dcf9f7e8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/24c24753b09248c0af7f43fe323862ab.png
[de85f1b67bf44b2a81dc7f7d047ba33e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/1cadc5d102a144d0b7e69ef1fa26b7cd.png
[bd1a00ade96248b78795100ea8a5e76d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/16fc3443ed944801902eed9d38915486.png
[b95d937164c44606817c591c4575e99d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/bc74e41f24944e0291d453df2003e989.png
[e2fba1d23750450485d0f30a0ccda501.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/cc198863774d48e2a806868b12e32b8f.png
[img-Vin9gmHz-1645353093393_image-20200803190551983.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/79f3c45eec1b412eae1772d2b13f020f.png
[d7315671087d44b0a1164d44c72f5554.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/f2b70c3e16b245a8a4f797714d63f2b2.png
[img-Bv1PltuW-1645353093395_image-20200803190718913.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/a07c8e7d48e946718bf939e938cbd7b7.png
[9cf8d6e03a65425e9e8ffdfd879fa119.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/47a72009dbdc4739ba27cc1477fec033.png
[0c8ee087e974433fa6c934c259ec978d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/451fa05f404f4fcf93d7f33a5d544995.png
[0ebd22d8cd2a419f8663f28068e26420.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4df953c4171c4f1fb4f3b37f80c0fa8a.png
[cc13ee4a0374448ebf1668dbb27ff8dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/c0841aaae98344a49adce8dc44468f25.png
[837f203c3e7b43f495232c8a97008643.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/dec54b1cff204bdb97f9be09093d2179.png
[bb3df48889994c67808f043030a44b23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/a7be4339bbd34a81be4a8879e0842e70.png
[7c035356d9594f29af9967ff05ccbaae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/b1761f19eb6d4295bf016bbc6a8749c6.png
[img-19Z4hfdw-1645353093398_image-20200803193552845.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/819ed33620ee4528be7d46f498c002c2.png
[5d612c41ee184377ba360c8a19985850.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/a3bc5b871c2142a1b29d1d8349224760.png
[cf7258aebbb84e05b5d5dbdc9cd06ab2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/09c4a3a01a0b408c89971453295f83ed.png
[5b5e2e0ed7b546fc986d61cee0ec0470.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/a8e1b683ec5e489cbd038a2861d394cc.png
[3083408f624246ce93dd29783598ec72.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/5f2f2f6a33524ac6baa69cb751661ab2.png
[944b3813b9b14a5e8965885819d624bc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/7a4cd61bdd024c14bf551df5482dd968.png
[b7933b262c8c4bf993f4690d48604275.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/50f3fe582de6484bbbf194998fde4822.png