论文笔记：MobileNet v1

青旅半醒 2022-05-09 11:44 232阅读 0赞

原文：[MobileNets: Efficient Convolutional Neural Networks for MobileVision Applications][MobileNets_ Efficient Convolutional Neural Networks for MobileVision Applications]

# MobileNet v1 #

## 1、四个问题 ##

1.  要解决什么问题？
    
     *  在现实场景下，诸如移动设备、嵌入式设备、自动驾驶等等，计算能力会受到限制，所以本文的目标就是构建一个小且快速（small and low latency）的模型。
2.  用了什么办法解决？
    
     *  提出了MobileNet架构，使用深度可分离卷积（depthwise separable convolutions）替代传统卷积。
     *  在MobileNet网络中还引入了两个收缩超参数（shrinking hyperparameters）：宽度乘子（width multiplier）和分辨率乘子（resolution multiplier）。
3.  效果如何？
    
     *  在一系列视觉任务如ImageNet分类、细粒度分类、目标检测等等上，显著降低模型大小的同时也取得了不错的效果。
4.  还存在什么问题？（参考自[知乎][Link 1]）
    
    1.  MobileNet v1的结构过于简单，是类似于VGG的直筒结构，导致这个网络的性价比其实不高。如果引入后续的一系列ResNet、DenseNet等结构（复用图像特征，添加shortcuts）可以大幅提升网络的性能。
    2.  Depthwise Convolution存在潜在问题，训练后部分kernel的权值为0。

## 2、网络结构 ##

### 2.1、Depthwise Separable Convolution ###

*  Depthwise Separable Convolution实质上是将标准卷积分成了两步：depthwise卷积和pointwise卷积，其输入与输出都是相同的。
 *  假设输入特征图维度为： D F × D F × M D\_F \\times D\_F \\times M DF×DF×M， D F D\_F DF为输入的宽/高， M M M为输入通道数。
 *  假设输出特征图维度为： D G × D G × N D\_G \\times D\_G \\times N DG×DG×N， D G D\_G DG为输出的宽/高， N N N为输出通道数。
 *  假设卷积核尺寸为： D k × D k D\_k \\times D\_k Dk×Dk， D k D\_k Dk为卷积核的宽/高。

#### 2.1.1、标准卷积 ####

![在这里插入图片描述][70]

*  卷积核参数量： D K × D k × M × N D\_K \\times D\_k \\times M \\times N DK×Dk×M×N。
 *  计算量（只计算乘法）： D k × D k × M × N × D F × D F D\_k \\times D\_k \\times M \\times N \\times D\_F \\times D\_F Dk×Dk×M×N×DF×DF。
 *  计算量（FLOPS，包括乘法和加法）： ( D k × D k × M + D k × D k × M − 1 ) × N × D F × D F (D\_k \\times D\_k \\times M + D\_k \\times D\_k \\times M -1)\\times N \\times D\_F \\times D\_F (Dk×Dk×M\+Dk×Dk×M−1)×N×DF×DF。
 *  注：为简化起见，后面求解计算量时只考虑乘法，不考虑加法。

#### 2.1.2、深度可分离卷积 ####

*  分为两部分：depthwise卷积和pointwise卷积。
 *  depthwise卷积：对每个输入通道单独使用一个卷积核处理。
 *  pointwise卷积： 1 × 1 1 \\times 1 1×1卷积，用于将depthwise卷积的输出组合起来。

![在这里插入图片描述][70 1]

1.  depthwise卷积：
    
     *  输入： D F × D F × M D\_F \\times D\_F \\times M DF×DF×M，输出： D F × D F × M D\_F \\times D\_F \\times M DF×DF×M，卷积核尺寸： D k × D k D\_k \\times D\_k Dk×Dk。
     *  卷积核参数：分开为 M M M个通道看，每个通道都是 D k × D k × 1 × 1 D\_k \\times D\_k \\times 1 \\times 1 Dk×Dk×1×1，共 D k × D k × M D\_k \\times D\_k \\times M Dk×Dk×M。
     *  计算量： D k × D k × M × D F × D F D\_k \\times D\_k \\times M \\times D\_F \\times D\_F Dk×Dk×M×DF×DF。
     *  理解：将输入的特征图（维度为： D F × D F × M D\_F \\times D\_F \\times M DF×DF×M）看做是 M M M个 D F × D F × 1 D\_F \\times D\_F \\times 1 DF×DF×1的特征图；对这 M M M个 D F × D F × 1 D\_F \\times D\_F \\times 1 DF×DF×1的特征图分别进行普通卷积（卷积核为： D k × D k D\_k \\times D\_k Dk×Dk，输入通道数为 1 1 1，输出通道数也为 1 1 1）。实质上，这就是对卷积的通道数进行分组，然后对每组的特征图分别进行卷积，是组卷积（group convolution）的一种扩展，每组只有一个特征图。
2.  pointwise卷积：
    
     *  输入： D F × D F × M D\_F \\times D\_F \\times M DF×DF×M，输出： D F × D F × N D\_F \\times D\_F \\times N DF×DF×N，卷积核尺寸： 1 × 1 1\\times 1 1×1。
     *  卷积核参数： 1 × 1 × M × N 1 \\times 1 \\times M \\times N 1×1×M×N。
     *  计算量： 1 × 1 × M × N × D F × D F 1 \\times 1 \\times M \\times N \\times D\_F \\times D\_F 1×1×M×N×DF×DF。
     *  理解：就是 1 × 1 1 \\times 1 1×1卷积，是普通的卷积操作。
3.  总计算量：

D k × D k × M × D F × D F + 1 × 1 × M × N × D F × D F = ( D k × D k + N ) × M × D F × D F D\_k \\times D\_k \\times M \\times D\_F \\times D\_F + 1 \\times 1 \\times M \\times N \\times D\_F \\times D\_F \\\\ = (D\_k \\times D\_k + N) \\times M \\times D\_F \\times D\_F Dk×Dk×M×DF×DF\+1×1×M×N×DF×DF=(Dk×Dk\+N)×M×DF×DF

#### 2.1.3、标准卷积与深度可分离卷积计算量的比较 ####

*  只计算乘法操作：
 *  标准卷积计算量： D k × D k × M × N × D F × D F D\_k \\times D\_k \\times M \\times N \\times D\_F \\times D\_F Dk×Dk×M×N×DF×DF。
 *  深度可分离卷积计算量： ( D k × D k + N ) × M × D F × D F (D\_k \\times D\_k + N) \\times M \\times D\_F \\times D\_F (Dk×Dk\+N)×M×DF×DF。
 *  两者之比：

![在这里插入图片描述][70 2]

*  通常MobileNet会使用卷积核为 3 × 3 3 \\times 3 3×3的深度可分离卷积，上面这个式子的结果就接近于 1 9 \\frac\{1\}\{9\} 91，大约可以比普通卷积减少了8到9倍的计算量。

![在这里插入图片描述][70 3]

### 2.2、MobileNet结构 ###

![在这里插入图片描述][70 4]

### 2.3、网络参数、计算量分布 ###

![在这里插入图片描述][70 5]

*  MobileNet的大多数计算量（约95%）和参数（约75%）都在 1 × 1 1 \\times 1 1×1卷积中，剩余的大多数参数（约24%）都在全连接层中。
 *  由于模型较小，可以减少正则化手段和数据增强，因为小模型相对不容易过拟合。

### 2.4、控制MobileNet模型大小的两个超参数 ###

1.  Width Multiplier: Thinner Models
    
     *  用 α \\alpha α表示，该参数用于控制特征图的维数，即通道数。
     *  对于深度可分离卷积，其计算量为： D k × D k × α M × D F × D F + 1 × 1 × α M × α N × D F × D F D\_k \\times D\_k \\times \\alpha M \\times D\_F \\times D\_F + 1 \\times 1 \\times \\alpha M \\times \\alpha N \\times D\_F \\times D\_F Dk×Dk×αM×DF×DF\+1×1×αM×αN×DF×DF
2.  Resolution Multiplier: Reduced Representation
    
     *  用 ρ \\rho ρ表示，该参数用于控制特征图的宽/高，即分辨率。
     *  对于深度可分离卷积，其计算量为： D k × D k × α M × ρ D F × ρ D F + 1 × 1 × α M × α N × ρ D F × ρ D F D\_k \\times D\_k \\times \\alpha M \\times \\rho D\_F \\times \\rho D\_F + 1 \\times 1 \\times \\alpha M \\times \\alpha N \\times \\rho D\_F \\times \\rho D\_F Dk×Dk×αM×ρDF×ρDF\+1×1×αM×αN×ρDF×ρDF

[MobileNets_ Efficient Convolutional Neural Networks for MobileVision Applications]: https://arxiv.org/abs/1704.04861
[Link 1]: https://www.zhihu.com/question/265709710/answer/298245276
[70]: /images/20220509/2f234630540d482fad5933c8074936a6.png
[70 1]: /images/20220509/f6d7c8203a72498197623e422e04fbc3.png
[70 2]: /images/20220509/e2862ddf562744369a48bd952325d8b9.png
[70 3]: /images/20220509/96724506ac7b48b0a815b1997616990a.png
[70 4]: /images/20220509/f33cdc010c774578ba6b6fbaa07c4ab2.png
[70 5]: /images/20220509/64883688c0c54eab9660f4e045664e8a.png