Group Convolution分组卷积，以及Depthwise Convolution和Global Depthwise Convolution

野性酷女 2022-03-29 13:41 193阅读 0赞

博客：[blog.shinelee.me][] | [博客园][Link 1] | [CSDN][]

### 文章目录 ###

*  写在前面
 *  Convolution VS Group Convolution
 *  Group Convolution的用途
 *  参考

# 写在前面 #

**Group Convolution分组卷积**，最早见于AlexNet——2012年Imagenet的冠军方法，Group Convolution被用来切分网络，使其在2个GPU上并行运行，AlexNet网络结构如下：

![AlexNet][]

# Convolution VS Group Convolution #

在介绍**Group Convolution**前，先回顾下**常规卷积**是怎么做的，具体可以参见博文[《卷积神经网络之卷积计算、作用与思想》][Link 2]。如果输入feature map尺寸为 C ∗ H ∗ W C\*H\*W C∗H∗W，卷积核有 N N N个，输出feature map与卷积核的数量相同也是 N N N，每个卷积核的尺寸为 C ∗ K ∗ K C\*K\*K C∗K∗K， N N N个卷积核的总参数量为 N ∗ C ∗ K ∗ K N\*C\*K\*K N∗C∗K∗K，输入map与输出map的连接方式如下图左所示，图片来自[链接][Link 3]：

![Convolution VS Group Convolution][]

**Group Convolution**顾名思义，则是对输入feature map进行分组，然后每组分别卷积。假设输入feature map的尺寸仍为 C ∗ H ∗ W C\*H\*W C∗H∗W，输出feature map的数量为 N N N个，如果设定要分成 G G G个groups，则每组的输入feature map数量为 C G \\frac\{C\}\{G\} GC，每组的输出feature map数量为 N G \\frac\{N\}\{G\} GN，每个卷积核的尺寸为 C G ∗ K ∗ K \\frac\{C\}\{G\} \* K \* K GC∗K∗K，卷积核的总数仍为 N N N个，每组的卷积核数量为 N G \\frac\{N\}\{G\} GN，卷积核只与其同组的输入map进行卷积，卷积核的总参数量为 N ∗ C G ∗ K ∗ K N \* \\frac\{C\}\{G\} \*K\*K N∗GC∗K∗K，可见，**总参数量减少为原来的**  1 G \\frac\{1\}\{G\} G1，其连接方式如上图右所示，group1输出map数为2，有2个卷积核，每个卷积核的channel数为4，与group1的输入map的channel数相同，卷积核只与同组的输入map卷积，而不与其他组的输入map卷积。

# Group Convolution的用途 #

1.  **减少参数量**，分成 G G G组，则该层的参数量减少为原来的 1 G \\frac\{1\}\{G\} G1
2.  **Group Convolution可以看成是structured sparse**，每个卷积核的尺寸由 C ∗ K ∗ K C\*K\*K C∗K∗K变为 C G ∗ K ∗ K \\frac\{C\}\{G\}\*K\*K GC∗K∗K，可以将其余 ( C − C G ) ∗ K ∗ K (C- \\frac\{C\}\{G\})\*K\*K (C−GC)∗K∗K的参数视为0，有时甚至可以在减少参数量的同时获得更好的效果（相当于**正则**）。
3.  当分组数量等于输入map数量，输出map数量也等于输入map数量，即 G = N = C G=N=C G=N=C、 N N N个卷积核每个尺寸为 1 ∗ K ∗ K 1\*K\*K 1∗K∗K时，Group Convolution就成了**Depthwise Convolution**，参见[MobileNet][]和[Xception][]等，**参数量进一步缩减**，如下图所示  
    ![Depthwise Separable Convolution][]
4.  更进一步，如果分组数 G = N = C G=N=C G=N=C，同时卷积核的尺寸与输入map的尺寸相同，即 K = H = W K=H=W K=H=W，则输出map为 C ∗ 1 ∗ 1 C\*1\*1 C∗1∗1即长度为 C C C的向量，此时称之为**Global Depthwise Convolution（GDC）**，见[MobileFaceNet][]，可以看成是**全局加权池化**，与 **Global Average Pooling（GAP）** 的不同之处在于，GDC **给每个位置赋予了可学习的权重**（对于已对齐的图像这很有效，比如人脸，中心位置和边界位置的权重自然应该不同），而GAP每个位置的权重相同，全局取个平均，如下图所示：

![global average pooling][]

以上。

# 参考 #

*  [A Tutorial on Filter Groups (Grouped Convolution)][A Tutorial on Filter Groups _Grouped Convolution]
 *  [Interleaved Group Convolutions for Deep Neural Networks][]

[blog.shinelee.me]: https://blog.shinelee.me/
[Link 1]: https://www.cnblogs.com/shine-lee/
[CSDN]: https://blog.csdn.net/blogshinelee
[AlexNet]: /images/20220329/fe80f42cccaa445fadc647e1311dc457.png
[Link 2]: https://blog.shinelee.me/2018/11-08-%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B9%8B%E5%8D%B7%E7%A7%AF%E8%AE%A1%E7%AE%97%E3%80%81%E4%BD%9C%E7%94%A8%E4%B8%8E%E6%80%9D%E6%83%B3.html
[Link 3]: https://www.researchgate.net/figure/The-transformations-within-a-layer-in-DenseNets-left-and-CondenseNets-at-training-time_fig2_321325862
[Convolution VS Group Convolution]: /images/20220329/49eab66dc8134bf68b3bae583ed52919.png
[MobileNet]: https://arxiv.org/abs/1704.04861
[Xception]: https://arxiv.org/abs/1610.02357
[Depthwise Separable Convolution]: /images/20220329/d7e37cad89c54802bca065d040ba7d69.png
[MobileFaceNet]: https://arxiv.org/abs/1804.07573
[global average pooling]: /images/20220329/30efe3abd9a74e0ea77be13905366f46.png
[A Tutorial on Filter Groups _Grouped Convolution]: https://blog.yani.io/filter-group-tutorial/
[Interleaved Group Convolutions for Deep Neural Networks]: https://edu.csdn.net/course/play/8320/171433?s=1