深度可分离卷积 Depthwise Seperable Convolution

亦凉 2023-07-18 11:27 111阅读 0赞

## 0.前言 ##

在原始图像卷积网络的基础上，经过不断的改进和优化，出现了如分组卷积（Group convolution）、空洞卷积（Dilated / Atrous Convolution convolution），深度可分离卷积（Depthwise Seperable Convolution）等各式各样的卷积改进形式。  
**Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作深度可分离卷积**,是首先由Google在Xception模型中提出，是对Inception V3 networks改进尝试版，在随后出现的MobileNet网络获得成功。该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低，在一些轻量级网络需求中会常见到这种结构。

目前在模型参数优化（降低参数量且保证网络性能）中，通常有两类工作可做：

*  **压缩预训练模型：** 获得小型网络的一个办法是减小、分解或压缩预训练网络，例如量化压缩(product quantization)、哈希(hashing )、剪枝(pruning)、矢量编码( vector quantization)和霍夫曼编码(Huffman coding)等；各种分解因子(various factorizations )用来加速预训练网络；网络蒸馏法(distillation )，通过使用大型网络指导小型网络训练。
 *  **直接选择训练小型模型：** 如Xception network中说明了如何对Inception V3 networks使用深度可分离卷积；如Flattened networks利用完全的因式分解的卷积网络构建模型，显示出完全分解网络的潜力；Factorized Networks引入了类似的分解卷积以及拓扑连接的使用；Squeezenet 使用一个bottleneck用于构建小型网络。

## 1.基本的图像卷积—Basic 2D convolution ##

引用cs231n中使用的图像卷积示意图：  
![在这里插入图片描述][20200327034655241.gif_pic_center]  
基本思想是在较大的2D数组上滑动一个小窗口（通常称为“filter”或卷积核），并在每个位置的过滤器元素和相应的输入数组元素之间执行点积，上图是使用的RGB三通道的图像。  
关于TensorFlow的tf.nn.conv2d操作实现中需要注意一个地方。有很多关于layout或data format的讨论，默认情况下是NHWC。NHWC只是表示4D张量中尺寸的顺序为：

*  N：批次
 *  H：高度（空间尺寸）
 *  W：宽度（空间尺寸）
 *  C：频道（深度）

NHWC是TensorFlow的默认布局; 另一个常用的布局是 NCHW，因为它是NVIDIA DNN库首选的格式。此处的代码示例遵循默认值。这也许也是很多情况下使用GPU加速运算时，NCHW格式的要比NHWC格式的要快的原因，因为NCHW是NVIDIA亲生的格式。

## 2. 深度卷积 Depthwise convolution ##

在对多个输入通道执行常规2D卷积中，卷积核的通道数与输入的通道数一致，我们会混合所有通道（对应位置相加）来产生最后的一个输出。深度卷积不一样，每个通道在卷积过程中仍然保持分离，因此称为深度卷积。以下图表可帮助解释其工作原理：

![在这里插入图片描述][20200327042121667.png_pic_center]  
总体上分为三个阶段：

*  将输入图像和滤波器（卷积核）都按照通道划分（输入和滤波器的通道数必须相等）。
 *  对于每个通道，将输入与相应的滤波器进行卷积，生成输出张量（2D）。
 *  将输出张量**堆叠**在一起。  
    在TensorFlow中，对应的op是tf.nn.depthwise\_conv2d ; 这个op具有**通道倍增**的概念，使我们可以为每个**输入通道计算多个输出**（有点像conv2d中的输出通道数概念 ）。  
    在Pytorch中，对应于 torch.nn.Conv2d 类，直接将参数groups，out\_channels都设为in\_channels，即可实现depthwise conv。

对于获得的特征图如何进行类似于普通卷积的通道融合操作呢？这就要利用接下来的1x1卷积核了。

## 3. 1x1卷积 Pointwise Convolution ##

在完成深度卷积后，执行跨通道进行1x1卷积。  
![在这里插入图片描述][20200327043426338.png_pic_center]  
这与前面讨论过的普通卷积操作完全相同，只不过卷积核的尺度由3x3x3变为1x1x3。对于不同的输出通道，重复此步骤。如上图所示深度卷积的输出与1个1x1x3的卷积核返回对应的1个通道上的特征图，多个通道的输出需要同样多个1x1x3的卷积核进行通道融合操作。  
在TensorFlow中，此操作称为tf.nn.separable\_conv2d。

*  Depthwise\_filter 负责分通道进行深度特征抽取
 *  Pointwise\_filter 用于多通道特征融合，这两个的实现和我们理解的可分离卷积的过程完全一致！

这样设计的计算量是怎样降低的呢？

## 4. 参数与计算量对比： ##

假设对于输入为128x128的一张RGB图像，  
卷积核格式 F x F x inC x outC:

*  F 表示卷积核的尺度，一般设为奇数，我们使用F=3
 *  inC表示卷积核的通道数
 *  outC表示输出特征图（叠加后）的通道数

**对于普通卷积：**  
参数量：3 \* 3 \* 3 \* 16 = 432  
计算量：3 \* 3 \* 3 \* 128 \* 128 \* 16 ≈ 7e6

**对于深度可分离卷积：**  
参数：3 \* 3 \* 3 + 3 \* 16 = 75  
计算量：3 \* 3 \* 3 \* 128 \* 128 + 128 \* 128 \* 3 \* 16 ≈ 1.2e6

参数个数是常规卷积的约1/5，（会根据参数设置而变化，不是定值），且计算量也大大降低。因此，在参数量相同的前提下，采用Separable Convolution的卷积神经网络层数可以做的更深，自然更可能获得较高的准确度，这对很多轻量级网络的设计都有借鉴。网络的具体实现步骤可参照MobileNet网络相关的项目。

**参考：**

[cs231n][]  
[eli.thegreenplace.net][]

[20200327034655241.gif_pic_center]: /images/20230528/6163d1d0046941709db489b155041eaf.png
[20200327042121667.png_pic_center]: /images/20230528/e4c9ad555e9e4d359d8a72f5ce2027d6.png
[20200327043426338.png_pic_center]: /images/20230528/72c388381b364b139e8cd208ed5a71e6.png
[cs231n]: http://cs231n.github.io/convolutional-networks/
[eli.thegreenplace.net]: https://eli.thegreenplace.net/2018/depthwise-separable-convolutions-for-machine-learning/#id2