caffe：为什么有时Depthwise 卷积比正常卷积更耗时

偏执的太偏执、 2022-10-02 11:44 136阅读 0赞

原因：

一、从计算量和内存占用量分析

作者：cs sun  
链接：[https://www.zhihu.com/question/265434464/answer/306493409][https_www.zhihu.com_question_265434464_answer_306493409]  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

首先，caffe原先的gpu实现group convolution很糟糕，用for循环每次算一个卷积，速度极慢。

第二，cudnn7.0及之后直接支持group convolution，但本人实测，速度比github上几个直接写cuda kernel计算的dw convolution速度慢。例如对于n=128, c=512, h=32, w=32, group=512的卷积跑100次，cudnn 7.0里的group convolution需要4秒多，而[yonghenglh6/DepthwiseConvolution][yonghenglh6_DepthwiseConvolution]大概只需要1秒。

本人分析了一下dw convolution与普通convolution的理论计算复杂度，举例如下：

卷积1：普通卷积，输入为64x64x256，输出为64x64x256，卷积核大小为3x3。

参数为3x3x256x256=590K，计算量为64x64x256x3x3x256=2.42G，计算过程的工作集内存总量（输入输出数据+参数）为64x64x256x2 + 3x3x256x256 = 2.69M。

卷积2：dw卷积，输入为64x64x256，输出为64x64x256，卷积核大小为3x3。

参数为3x3x256=2.3K个，计算量为64x64x256x3x3=9.44M，计算过程的工作集内存总量为64x64x256x2 + 3x3x256=2.10M。

卷积3：普通卷积，输入为64x64x16，输出为64x64x16，卷积核大小为3x3。

参数为3x3x16x16=2.3K个，计算量为64x64x16x3x3x16=9.44M，计算过程的工作集内存总量为64x64x16x2 + 3x3x16x16=133K。

可以看到卷积2肯定比卷积1快，因为计算量下降到1/256了，但卷积2实际上无法达到卷积1的256倍速度（我记得我测得结果大概是快10倍左右），因为工作集内存大小并没有显著降低。卷积2也无法达到卷积3的速度，因为虽然FLOPS相同，但工作集内存大小相差了很多倍，因此单位数据的计算密度小很多，很难充分利用GPU上的计算单元。

二、在传统的卷积层直接加group达到depth-wise的效果

cudnn 7 才开始支持 depthwise convolution，cudnn支持之前，大部分gpu下的实现都是for循环遍历所有group，所以group很多时极慢。  
正确的应该用这个[https://github.com/yonghenglh6/DepthwiseConvolution][https_github.com_yonghenglh6_DepthwiseConvolution]

优化：[Optimize Deep Learning GPU Operators with TVM: A Depthwise Convolution Example][Optimize Deep Learning GPU Operators with TVM_ A Depthwise Convolution Example]

[https://www.jianshu.com/p/11f6174a4c69][https_www.jianshu.com_p_11f6174a4c69]

[https_www.zhihu.com_question_265434464_answer_306493409]: https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fquestion%2F265434464%2Fanswer%2F306493409
[yonghenglh6_DepthwiseConvolution]: https://links.jianshu.com/go?to=https%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttps%253A%2F%2Fgithub.com%2Fyonghenglh6%2FDepthwiseConvolution
[https_github.com_yonghenglh6_DepthwiseConvolution]: https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fyonghenglh6%2FDepthwiseConvolution
[Optimize Deep Learning GPU Operators with TVM_ A Depthwise Convolution Example]: https://links.jianshu.com/go?to=%255Bhttps%3A%2F%2Ftvm.ai%2F2017%2F08%2F22%2FOptimize-Deep-Learning-GPU-Operators-with-TVM-A-Depthwise-Convolution-Example.html%255D%28https%3A%2F%2Ftvm.ai%2F2017%2F08%2F22%2FOptimize-Deep-Learning-GPU-Operators-with-TVM-A-Depthwise-Convolution-Example.html%29
[https_www.jianshu.com_p_11f6174a4c69]: https://www.jianshu.com/p/11f6174a4c69