CBAM

朴灿烈づ我的快乐病毒、 2022-11-27 00:45 61阅读 0赞

论文：[https://arxiv.org/pdf/1807.06521.pdf][https_arxiv.org_pdf_1807.06521.pdf]

# 1 CBAM #

## 1.1 综述 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center]  
CBAM，Convolutional Block Attention Module，卷积块的注意力模块。即包含了时间注意力模块，也包含了空间注意力模型。时间注意力模块用于决定各滤波器的作用大小，空间注意力模块用于决定哪些图像位置包含我们感兴趣的目标。

CBAM的输入是 F ∈ R C × H × W F \\in R^\{C \\times H \\times W\} F∈RC×H×W，先将输入和 M c ∈ R C × 1 × 1 M\_c \\in R^\{C \\times 1 \\times 1\} Mc∈RC×1×1的channel attention map进行逐通道相乘，然后再将输出和 M s ∈ R 1 × H × W M\_s \\in R^\{1 \\times H \\times W\} Ms∈R1×H×W进行逐点相乘，得到最终的输出。处理过程可以表示为：  
![在这里插入图片描述][20200813165054171.png_pic_center]  
![在这里插入图片描述][20200813165114191.png_pic_center]

## 1.2 channel attention module ##

channel attention module是在SENet基础的改进。SENet中sequeeze环节只使用了平均池化，本文作者则是同时使用了最大池化和平均池化。

输入 F ∈ R C × H × W F \\in R^\{C \\times H \\times W\} F∈RC×H×W经过最大池化后得到输出 F m a x c ∈ R C × 1 × 1 F\_\{max\}^c \\in R^\{C \\times 1 \\times 1\} Fmaxc∈RC×1×1，经过平均池化后得到输出 F a v g c ∈ R C × 1 × 1 F\_\{avg\}^c \\in R^\{C \\times 1 \\times 1\} Favgc∈RC×1×1，这两个输出经过同一个MLP网络(也就是Excitation操作，channel数先压缩再扩充)，之所以使用同一个MLP是为了不增加模型的训练参数，两个输出相加再经过sigmoid函数得到channel attention的结果。  
![在这里插入图片描述][20200813165756619.png_pic_center] W 0 ∈ R C / r × C , W 1 ∈ R C × C / r W\_0 \\in R^\{C/r \\times C\},W\_1 \\in R^\{C \\times C/r\} W0∈RC/r×C,W1∈RC×C/r， W 0 W\_0 W0之后还进行了ReLU操作。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 2]  
实验证明了作者采用的channel attention module的优越性。

## 1.3 Spatial Attention Module ##

对channel attention之后的输出 F ∈ R C × H × W F \\in R^\{C \\times H \\times W\} F∈RC×H×W分别沿channel方向进行平均池化和最大池化，得到 F a v g s ∈ R 1 × H × W F\_\{avg\}^s \\in R^\{1 \\times H \\times W\} Favgs∈R1×H×W和 F m a x s ∈ R 1 × H × W F\_\{max\}^s \\in R^\{1 \\times H \\times W\} Fmaxs∈R1×H×W，将两者concatenate之后，经过一个卷积层channel数变成1，然后再经过sigmoid函数得到各个像素位置的重要程度，即spatial attention map。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 3]![在这里插入图片描述][20200813170657486.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 4]  
实验证明了作者方案的有效性，并且卷积核为7 \* 7的效果更好，作者认为更大的感受野有助于发现空间上更重要的region。

## 1.4 两个attention module的使用顺序 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 5]先channel attention，后Spatial attention，效果更优。

# 2 实验 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 6]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 7]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 9]

CBAM对分类检测任务的多个模型和数据集具有广泛的有效性。

[https_arxiv.org_pdf_1807.06521.pdf]: https://arxiv.org/pdf/1807.06521.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/ced4e1f73af9474b9f34569c35ab6521.png
[20200813165054171.png_pic_center]: /images/20221124/d295166114d54592869da8aa98807e7c.png
[20200813165114191.png_pic_center]: /images/20221124/fe3ccffd87594e938676832f70e7997e.png
[20200813165756619.png_pic_center]: /images/20221124/6b171edbfb6a4e5c92e7684a356a7333.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/97a270ada3aa49ce928d180c9f1d5338.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/2dbedea0d8304ee588939ad2c84a2ba7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/2020081317063398.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5,size_16,color_FFFFFF,t_70#pic_center
[20200813170657486.png_pic_center]: /images/20221124/d0a9a1ad5c1c4813986ddd2dcf3b5c07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/81a09467170841309ce51ba7048a4b35.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/24f1e3b7c6de4c998a3d331a482dcf5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/20200813171122351.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20200813171156925.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221124/81563299c8fb48de9a112dc825bdc3e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221124/90ba8fc3d7d344d5a03d9268b3d562d9.png