卷积神经网络之(深度卷积神经网络)AlexNet

绝地灬酷狼 2022-12-25 13:52 224阅读 0赞

## 卷积神经网络之AlexNet ##

2012年AlexNet横空出世，赢得了ImageNet2012图像识别挑战赛。首次证明了学习到的特征可以超越手工设计的特征。

## AlexNet模型 ##

![format_png][]

AlexNet模型使用了8层卷积神经网络，其中有5层卷积和2层全连接层以及1个全连接输出层。

网络结构与具体参数如下：

<table> 
 <tbody> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">Block</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">连接层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">Filter大小</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">步长stride</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">Filter个数</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">图像尺寸</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">计算方法</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">input</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">227*227*3</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">/</td> 
  </tr> 
  <tr> 
   <td colspan="1" style="text-align:center;vertical-align:middle;">1</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">卷积层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">11*11</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">4</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">96</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">55*55*96</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">（227-11）/4+1=55</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:76px;">池化层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">3*3</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">2</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">27*27*96</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">（55-3）/2+1=27</td> 
  </tr> 
  <tr> 
   <td colspan="1" style="text-align:center;vertical-align:middle;">2</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">卷积层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">5*5</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">1</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">128*2</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">（27-5+2*2）/1+1=27</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">27*27*128*2</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:76px;">池化层</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">3*3</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">2</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">（27-3）/2+1=13</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">13*13*128*2</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">3</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">卷积层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">3*3</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">1</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">192*2</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">（13-3+1*2）/1+1=13</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">13*13*192*2</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">4</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">卷积层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">3*3</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">1</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">192*2</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">（13-3+1*2）/1+1=13</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">13*13*192*2</td> 
  </tr> 
  <tr> 
   <td colspan="1" style="text-align:center;vertical-align:middle;">5</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">卷积层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">3*3</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">1</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">128*2</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">（13-3+1*2）/1+1=13</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">13*13*128*2</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:76px;">池化层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">3*3</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">2</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">（13-3）/2+1=6</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">6*6*128*2</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">6</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">全连接层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">6*6</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">256</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">4096</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">Relu、Dropout</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">7</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">全连接层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">/</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">4096</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">/</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">8</td> 
   <td style="text-align:center;vertical-align:middle;width:76px;">全连接层</td> 
   <td style="text-align:center;vertical-align:middle;width:84px;">&nbsp;</td> 
   <td style="text-align:center;vertical-align:middle;width:95px;">&nbsp;</td> 
   <td style="text-align:center;vertical-align:middle;width:85px;">&nbsp;</td> 
   <td style="text-align:center;vertical-align:middle;width:219px;">1000</td> 
   <td style="text-align:center;vertical-align:middle;width:211px;">SoftMax</td> 
  </tr> 
 </tbody> 
</table>

## 代码 ##

from keras.models import Sequential
    from keras.layers import Dense, Flatten, Dropout
    from keras.layers.convolutional import Conv2D, MaxPooling2D
    from keras.utils.np_utils import to_categorical
    import numpy as np
    seed = 7
    np.random.seed(seed)
    
    # 创建模型序列
    model = Sequential()
    #第一层卷积网络，使用96个卷积核，大小为11x11步长为4， 要求输入的图片为227x227， 3个通道，不加边，激活函数使用relu
    model.add(Conv2D(96, (11, 11), strides=(1, 1), input_shape=(28, 28, 1), padding='same', activation='relu',
                     kernel_initializer='uniform'))
    # 池化层
    model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2)))
    # 第二层加边使用256个5x5的卷积核，加边，激活函数为relu
    model.add(Conv2D(256, (5, 5), strides=(1, 1), padding='same', activation='relu', kernel_initializer='uniform'))
    #使用池化层，步长为2
    model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2)))
    # 第三层卷积，大小为3x3的卷积核使用384个
    model.add(Conv2D(384, (3, 3), strides=(1, 1), padding='same', activation='relu', kernel_initializer='uniform'))
    # 第四层卷积,同第三层
    model.add(Conv2D(384, (3, 3), strides=(1, 1), padding='same', activation='relu', kernel_initializer='uniform'))
    # 第五层卷积使用的卷积核为256个，其他同上
    model.add(Conv2D(256, (3, 3), strides=(1, 1), padding='same', activation='relu', kernel_initializer='uniform'))
    model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2)))
    
    model.add(Flatten())
    model.add(Dense(4096, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(4096, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(10, activation='softmax'))
    model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
    model.summary()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70][]

## 总结 ##

*  AlexNet与LeNet结构类似，但是使用了更多的卷积层和更大的参数空间拟合大规模数据集。
 *  网络的深度很重要

--------------------

代码参考：[初探Alexnet网络结构][Alexnet]

其他经典网络结构：

[卷积神经网络之 LeNet][LeNet][卷积神经网络之(稠密连接网络)DenseNet][DenseNet]

[卷积神经网络之(深度卷积神经网络)AlexNet][AlexNet]

[卷积神经网络之(使用重复元素的网络)VGG][VGG]

[卷积神经网络之残差网络ResNet详解][ResNet]

[format_png]: /images/20221120/636ae886d0694d98955befe160dc09ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70]: /images/20221120/5a9aaf65f097441e8e26248334483061.png
[Alexnet]: https://www.jianshu.com/p/00a53eb5f4b3
[LeNet]: https://blog.csdn.net/qq_36766560/article/details/110422783
[DenseNet]: https://blog.csdn.net/qq_36766560/article/details/110677652
[AlexNet]: https://blog.csdn.net/qq_36766560/article/details/110469165
[VGG]: https://blog.csdn.net/qq_36766560/article/details/110471398
[ResNet]: https://blog.csdn.net/qq_36766560/article/details/110672378