AlexNet,VGG,GoogleNet,ResNet,DenseNet,NIN,MobileNet特定总结

约定不等于承诺〃 2023-06-10 15:26 16阅读 0赞

一：AlexNet  
1.使用ReLU加快模型训练

2.使用多GPU同时训练模型，加速

3.使用response-normalized加强正则化效果

4.叠加性池化（overlapping pooling）防止过拟合

5.dropout防止过拟合

二：VGG  
1.使用3×3 Filters而不是大尺寸的Filters

2.multi-scale training, testing

3.模型融合

4.Dense (Convolutionalized) Testing，用conv替代FC

三：GoogleNet

1.  1x1 conv :减少维度，计算量，模型大小，缓和过拟合

2.Inception module：stack 1×1 conv, 3×3 conv, 5×5 conv, and 3×3 max pooling 到一层，使得该层能使用不同的conv  
去提取不同的特征  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6bGRt_size_16_color_FFFFFF_t_70]

3.global average pooling 取代FC减少计算量，过拟合

四：ResNet  
1.提出了identity shortcut connection来解决模型过深，训练时梯度消失的问题，使得ResNet能构建很深的神经网络。

2.改进， ResNet with stochastic depth，训练时随机drop一些网络层不使用，test时则全部使用，可以减少训练时间，同时  
得到的结果更好

3.残差模块起到了ensemble的作用  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6bGRt_size_16_color_FFFFFF_t_70 1]

五：DenseNet  
1.基于ResNet的改进，每一层的输入是前面所有层的输入，每一层的输出，传到后面的所有层作为一个输入，  
这样使得网络能更精简，有更高的计算，存储效率，多样性的特征  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6bGRt_size_16_color_FFFFFF_t_70 2]

六：NIN(Network In Network)  
1.nlpconv  
实现跨通道信息间的可学习交互

1.  global average pooling 取代FC  
    对于每一个category都生成相应的特征映射；  
    该层没有参数优化，避免过拟合；  
    更好的处理输入的空间转换；

七：MobileNet  
1.Depthwise separable convolution  
channel-wise DK×DK spatial convolution

2.a pointwise convolution  
1×1 convolution 改变输入的维度

两者都用来减少模型参数计算量，加快计算

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6bGRt_size_16_color_FFFFFF_t_70]: /images/20230531/c97ad515c49f4d938697a580bcab2e85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6bGRt_size_16_color_FFFFFF_t_70 1]: /images/20230531/7f93365eb5934cd5b31761755a012006.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6bGRt_size_16_color_FFFFFF_t_70 2]: /images/20230531/a73d9aa6d27d4f9cba23daa7e3b87263.png