论文阅读|图像分类之轻量级网络MobileNets

水深无声 2023-01-10 14:38 141阅读 0赞

### 目录 ###

*  论文相关信息
 *  摘要
 *  1. 介绍
 *  2. 相关工作
 *  MobileNet Architecture
 *   *  3.1. Depthwise Separable Convolution
     *  3.2. Network Structure and Training
     *  3.3. Width Multiplier: Thinner Models
     *  3.4. Resolution Multiplier: Reduced Representation
 *  4. Experiments
 *  5. Conclusion
 *  6. 参考

# 论文相关信息 #

1.论文题目：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

2.发表时间：2017.04

3.文献地址：https://arxiv.org/abs/1704.04861

4.论文源码：

# 摘要 #

论文基于深度可分离卷积提出了一个可根据实际需求缩放模型的轻量级网络。

`论文贡献：`

1.  基于深度可分离卷积提出MobileNets，并指出和标准卷积相比计算量和参数的差别。
2.  提出宽度缩放系数和分辨率缩放系数来缩放模型。

# 1. 介绍 #

论文提出一种轻量级网络结构，以满足移动端和嵌入式端等的需求。

# 2. 相关工作 #

MobileNets基于深度可分离卷积，Inception模型之后也使用了该卷积，扁平化网络将三维卷积分解成多个一维卷积以减少参数量；分解网络引入分解卷积和拓扑连接；Xception提出扩展深度可分离卷积，得到优于nceptionV3的结果；SqueezeNet通过模块的方式设计一个小型网络。

获得小型网络的另一方法是缩小、分解或压缩预训练网络。基于乘积量化、哈希、剪枝、向量量化和哈夫曼编码的压缩方法；基于分解的方法；基于蒸馏，即由大网络指导小网络。

# MobileNet Architecture #

## 3.1. Depthwise Separable Convolution ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center]

图1.标准卷积滤波器(a)被分解为两层，深度卷积(b)和1×1的点卷积©。

MobileNet基于深度可分离卷积而设计，其主要思路是将标准卷积分解成一个深度卷积和一个点卷积。在MobileNets中，深度卷积通过对输入特征图的每个通道执行单个卷积操作得到，点卷积将深度卷积的结果整合。深度可分离卷积将标准卷积分成两层，如图1所示，一层用于过滤操作，一层用于结合。这样能够极大的**减少计算量和减小模型尺寸**，下面就怎么减少作说明。

这一部分计算量的分析，以及深度可分离卷积的示意图可参考知乎文章[轻量级神经网络“巡礼”（二）—— MobileNet，从V1到V3 - 知乎 (zhihu.com)][MobileNet_V1_V3 - _ _zhihu.com]，比原论文清晰很多。

设标准卷积的输入特征图F的大小为 D F × D F × M D\_F×D\_F×M DF×DF×M，卷积后得到的输出特征图大小为 D F × D F × N D\_F×D\_F×N DF×DF×N,M、N分别为输入、输出特征图的通道数， D F D\_F DF是输入输出特征图的空间维度上的宽或高（这里假设卷积前后空间尺寸不变，即stride=1，padding=1）。则标准卷积的卷积核K的参数量为 D K × D K × M × N D\_K×D\_K×M×N DK×DK×M×N， D k D\_k Dk是卷积核空间尺寸。

计算量为 D K × D K × M × N × D F × D F D\_K×D\_K×M×N×D\_F×D\_F DK×DK×M×N×DF×DF。

**深度可分离卷积的参数量**由**深度卷积**和**逐点卷积**两部分组成：

**深度卷积**的卷积核尺寸 D F × D F × M D\_F×D\_F×M DF×DF×M；**逐点卷积**的卷积核尺寸为 1 × 1 × M 1×1×M 1×1×M，一共有N个，所以**深度可分离卷积的参数量**是： D K × D K × M + M × N D\_K×D\_K×M+M×N DK×DK×M\+M×N。

**深度可分离卷积的计算量**也是由**深度卷积**和**逐点卷积**两部分组成：

**深度卷积**的卷积核尺寸 D F × D F × M D\_F×D\_F×M DF×DF×M，一共要做 D F × D F D\_F×D\_F DF×DF次乘加运算( D F × D F D\_F×D\_F DF×DF 是输出特征图的空间尺度)；**逐点卷积**的卷积核尺寸为1×1×M，有N个，一共要做 D F × D F D\_F×D\_F DF×DF次乘加运算，所以**深度可分离卷积的计算量**是： D K × D K × M × D F × D F + M × N × D F × D F D\_K×D\_K×M×D\_F×D\_F+M×N×D\_F×D\_F DK×DK×M×DF×DF\+M×N×DF×DF

**深度可分离卷积的计算量/标准卷积计算量**= D K × D K × M × D F × D F + M × N × D F × D F D K × D K × M × N × D F × D F = 1 N + 1 D K 2 \\frac\{D\_K×D\_K×M×D\_F×D\_F+M×N×D\_F×D\_F\}\{D\_K×D\_K×M×N×D\_F×D\_F\}=\\frac\{1\}\{N\}+\\frac\{1\}\{D\_K^2\} DK×DK×M×N×DF×DFDK×DK×M×DF×DF\+M×N×DF×DF=N1\+DK21

而我们通常所使用的是3×3的卷积核，也就是会下降到原来的**九分之一到八分之一**，精度只下降一点。

## 3.2. Network Structure and Training ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center 1]

MobileNets 的网络架构如表1所示，除了第一层使用的一个3x3的标准卷积，其它所有卷积层都使用深度可分离卷积（`Conv dw / s2 + Conv / s1`），网络下采样通过令stride=2实现，最后接一个全局平均池化层将空间维度减小为1，然后传入全连接层以及用于分类的SoftMax层，所有的卷积层后都跟一个batchnorm和非线性激活层ReLU，最后的全连接层例外，没有非线性层。把深度卷积层和点卷积层视为单独的层，则整个网络有28层，其中深度可分离卷积层有13层。

需要注意的是，标准卷积和深度可分离卷积添加BN和ReLU有些不同，如下图所示。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center 2]

上图左边是标准卷积层，右边是V1的卷积层。V1的卷积层，首先使用3×3的深度卷积提取特征，接着是一个BN层，随后是一个ReLU层，在之后就会逐点卷积，最后就是BN和ReLU了。这也很符合深度可分离卷积，**将左边的标准卷积拆分成右边的一个深度卷积和一个逐点卷积**。

MobileNets中大部分的卷积计算都是1×1的卷积运算，1×1卷积几乎占据95%的计算量，占据75%的参数，其余的参数几乎都为全卷积层，如下图所示。

![在这里插入图片描述][20210124215102279.png_pic_center]

由于小型网络不容易过拟合，所以训练时使用少量的正则化和数据增强。

## 3.3. Width Multiplier: Thinner Models ##

虽然上面提到的MobileNets已经很轻量快速了，但是有时特定的使用需要网络更轻量快速，为了达到这一目的，新增一个宽度缩放系数α，其作用是让网络的每层都变薄，也即将通道变小。如，输入通道M变为αM，输出通道N变为αN。加了宽度缩放系数后深度可分离卷积的计算量为： D K × D K × α M × D F × D F + α M × α N × D F × D F D\_K×D\_K×αM×D\_F×D\_F+αM×αN×D\_F×D\_F DK×DK×αM×DF×DF\+αM×αN×DF×DF，其中α属于(0,1\]，通常设置为1, 0.75, 0.5和0.25。α=1时代表的是基本MobileNets，小于1时则为缩小的MobileNets。其缩放效果为 α 2 α^2 α2。注意，**使用α缩放模型后需要从头开始训练模型**。

## 3.4. Resolution Multiplier: Reduced Representation ##

MobileNets的第二个超参数是分辨率缩放系数ρ ，作用于输入图像，也相当于作用于随后每层特征图上，一般通过设置输入图片的分辨率来隐式的设置。使用了宽度缩放系数α和分辨率缩放系数ρ之后模型的计算量如下： D K × D K × α M × ρ D F × ρ D F + α M × α N × ρ D F × ρ D F D\_K×D\_K×αM×ρD\_F×ρD\_F+αM×αN×ρD\_F×ρD\_F DK×DK×αM×ρDF×ρDF\+αM×αN×ρDF×ρDF，ρ属于(0,1\]，ρ的缩放效果为 ρ 2 ρ^2 ρ2。

表3显示了从标准卷积到深度可分离卷积，以及使用超参数之后的计算量。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center 3]

# 4. Experiments #

![在这里插入图片描述][20210124215120902.png_pic_center]

表4.使用深度可分离卷积和标准卷积对比，模型的参数量和计算量大大减少，但是精度只下降约1%。

![在这里插入图片描述][20210124215127370.png_pic_center]

表5。用宽度缩放系数减小网络和使用少量的网络层减少网络的对比，差不多的计算量和参数情况下，前者精度高3%。

![在这里插入图片描述][20210124215134495.png_pic_center]

表6.通过选择不同宽度缩放系数α实现精度、计算量和模型大小的权衡，精度缓慢下降。

![在这里插入图片描述][20210124215143235.png_pic_center]

表7.通过选择不同分辨率缩放系数ρ 实现精度、计算量和模型大小的权衡，精度缓慢下降。

![在这里插入图片描述][20210124215151697.png_pic_center]

表8.基础版MobileNets和GoogleNet和VGG16对比。

![在这里插入图片描述][20210124215203585.png_pic_center]

表9，轻量MobileNet（α=0.5，分辨率=160）和Squeezenet和AlexNet对比。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center 4]

表13.在目标检测上的应用。

# 5. Conclusion #

作者基于深度可分离卷积设计了轻量快速的网络架构MobileNets。该网络族能够根据宽度缩放系数以及分辨率缩放系数来调整模型大小以满足不同实际场景下的需求。实验证明MobileNet应用于各视觉任务上均取得优异的结果。

# 6. 参考 #

[（四十五）论文阅读 | 图像分类之MobileNetV1\_Skies\_的博客-CSDN博客][_ _MobileNetV1_Skies_-CSDN]

[轻量级神经网络“巡礼”（二）—— MobileNet，从V1到V3 - 知乎 (zhihu.com)][MobileNet_V1_V3 - _ _zhihu.com]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/3f957497083c444db4d830e2045e7708.png
[MobileNet_V1_V3 - _ _zhihu.com]: https://zhuanlan.zhihu.com/p/70703846
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221119/5a2301ca1f04435db69fb2bb7a69d092.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221119/33f024eda3a2460a89f134e8c73b370b.png
[20210124215102279.png_pic_center]: /images/20221119/c9be0f24d6e84a8787e106d4e7b51867.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221119/d31437faf8904f4c959b81813296d82e.png
[20210124215120902.png_pic_center]: /images/20221119/011654fee59b41c5898ac3aa848cc8a1.png
[20210124215127370.png_pic_center]: /images/20221119/b1b71d32ad4c43b2887779910e9ed015.png
[20210124215134495.png_pic_center]: /images/20221119/6be1842740a24d56afcb2151d76bc14c.png
[20210124215143235.png_pic_center]: /images/20221119/bb04121cad474437aec741725f3eed4b.png
[20210124215151697.png_pic_center]: /images/20221119/926c0364eef84727a2a1b26ca9cea989.png
[20210124215203585.png_pic_center]: /images/20221119/28786e91caa8483ebe68c1beb58a6118.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221119/88ff55f8a07d4c699d3e2714f23912c0.png
[_ _MobileNetV1_Skies_-CSDN]: https://blog.csdn.net/Skies_/article/details/112468161