MobileNet V1 V2系列学习笔记

快来打我* 2022-12-31 10:25 185阅读 0赞

# MobileNet 系列详解 #

## MobileNet V1 ##

### 1.主要贡献 ###

提出了深度可分离卷积结构，大大减小了计算量和模型的大小。

### 2.深度可分离卷积 ###

**标准卷积**的作用是*过滤特征*并*合并*，而**深度可分离卷积**将标准卷积的过滤与组合分开做，分解为：*深度卷积(Depthwise)* 和 *逐点卷积(Pointwise)*。

*  **深度卷积**对每个输入通道应用单个过滤器
 *  **逐点卷积**(1×1卷积)创建线性组合  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70]

上图右边是深度可分离卷积对Depthwise和Pointwise两层都使用Batchnorm和Relu非线性激活

### 3.深度可分离卷积与标准卷积的计算量对比 ###

**假设**：  
输入feature map **F**： D F ∗ D F ∗ M D\_F\*D\_F\*M DF∗DF∗M  
输出feature map **G**： D F ∗ D F ∗ N D\_F\*D\_F\*N DF∗DF∗N  
卷积核**K**： D K ∗ D K ∗ M ∗ N D\_K\*D\_K\*M\*N DK∗DK∗M∗N  
那么：  
标准卷积计算的开销： D K ∗ D K ∗ m ∗ N ∗ D F ∗ D F D\_K\*D\_K\*m\*N\*D\_F\*D\_F DK∗DK∗m∗N∗DF∗DF  
深度可分离卷积的开销： D k ∗ D k ∗ M ∗ D F ∗ D F + M ∗ N ∗ D F ∗ D F D\_k\*D\_k\*M\*D\_F\*D\_F+M\*N\*D\_F\*D\_F Dk∗Dk∗M∗DF∗DF\+M∗N∗DF∗DF

### 4. 两个超参数 ###

*  宽度倍增系数 α α α：Thinner Models，对每一层均匀地细化网络
    
     *  输入通道数 M α Mα Mα，输出通道数 N α Nα Nα
     *  开销： D k ∗ D k ∗ α M ∗ D F ∗ D F + α M ∗ α N ∗ D F ∗ D F D\_k\*D\_k\*αM\*D\_F\*D\_F+αM\*αN\*D\_F\*D\_F Dk∗Dk∗αM∗DF∗DF\+αM∗αN∗DF∗DF
     *   α ∈ ( 0 , 1 \] α \\in (0,1\] α∈(0,1\],一般用 ( 0.75 , 0.5 , 0.25 ) (0.75,0.5,0.25) (0.75,0.5,0.25),降低模型的宽度
 *  分辨率系数 ρ ρ ρ：Reduced Representation
    
     *  开销： D k ∗ D k ∗ α M ∗ ρ D F ∗ ρ D F + α M ∗ α N ∗ ρ D F ∗ ρ D F D\_k\*D\_k\*αM\*ρD\_F\*ρD\_F+αM\*αN\*ρD\_F\*ρD\_F Dk∗Dk∗αM∗ρDF∗ρDF\+αM∗αN∗ρDF∗ρDF
     *   ρ ∈ ( 0 , 1 \] ρ \\in (0,1\] ρ∈(0,1\],使网络输入分辨率为224,192,160,128,降低输入图像的分辨率。

--------------------

## MobileNet V2 ##

### 1.主要贡献 ###

*  提出了一种倒置的线性瓶颈残差(inverted residual with linear bottleneck)
 *  用 1 × 1 1×1 1×1卷积层代替Relu6(普通的ReLU但是限制最大输出值为 6)

### 2.网络结构 ###

*  MobileNet V1的结构如下图，没有residual并且带了Relu：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70 1]
 *  MobileNet V2的结构如下图，带了residual并且去掉了Relu:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70 2]
    
     *  原始的residual block:压缩->卷积特征提取->扩张  
        ![在这里插入图片描述][20201229143202550.png]
     *  Inversed residual :扩张(提升通道数，获取更多特征)->卷积提取特征->压缩
        
         *  去掉了Relu6直接线性输出的原因在于本来特征就已经被压缩了，若再经过Relu，又会损失一部分特征  
            ![在这里插入图片描述][20201229143216412.png]

--------------------

*参考博文*  
[轻量级模型：MobileNet V2][MobileNet V2]  
[MobileNetV1 & MobileNetV2 简介][MobileNetV1 _ MobileNetV2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70]: /images/20221120/fd5a4917bc5845d0b1e86bab766e1500.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020122914312874.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201229143151812.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzY2NTYw,size_16,color_FFFFFF,t_70
[20201229143202550.png]: https://img-blog.csdnimg.cn/20201229143202550.png
[20201229143216412.png]: https://img-blog.csdnimg.cn/20201229143216412.png
[MobileNet V2]: https://blog.csdn.net/kangdi7547/article/details/81431572
[MobileNetV1 _ MobileNetV2]: https://blog.csdn.net/mzpmzk/article/details/82976871?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-3&spm=1001.2101.3001.4242