1. 概述

导读：CNN网络中较大范围的依赖（long-range dependencies）可以捕捉到很多有用的上下文信息，这个特性在图像理解任务中具有重要作用（如分割）。文章在参考non-local设计理念的基础上使用在像素点位置十字交叉的方式进行attention操作，用以获取丰富的上下文信息，提出由CCA模块构建的CCNet（criss-cross Network）。文章的方法相比之前的non-local具有如下两个优点：
1）相比non-local在显存上的开销更小，之间差距差了11倍；
2）在计算开销上，相比non-local减少了85%的计算量；
文章的方法在Cityscapes和ADE20K数据集上mIoU分别达到了81.4和45.22。

文章网络attention模块设计的思路很大程度上是来自于non-local方法，文中在其基础上对计算效率和显存占用做了优化。下图是一个典型的non-local的计算流程图：
在这里插入图片描述
其在分辨率为 ( H ∗ W ) (H*W) (H∗W)下计算量可以大体描述为 O ( ( H ∗ W ) ∗ ( H ∗ W ) ) O((H*W)*(H*W)) O((H∗W)∗(H∗W))。对此文章使用十字型采样的方式减少对应的资源消耗，但是为了弥补简单十字型采样带来的表达不足，文章使用了参数共享的堆叠方式，从而得到下图中的attention计算流程：
在这里插入图片描述
则经过十字型采样之后整个的计算量大体变为了 O ( ( W + H − 1 ) ∗ H ∗ W ) O((W+H-1)*H*W) O((W+H−1)∗H∗W)。

在下表中比较了在相同baseline下non-local和CCA模块的性能比较，见下表所示：
在这里插入图片描述

2. 方法设计

2.1 网络结构

文章的整体网络结构比较简单，具体见下图所示：
在这里插入图片描述
输入的图像首先经过一个带有dilation convolution的卷积得到特征图 X X X（其stride=8），之后经过一个channel采样的卷积通道数下采样得到特征图 H H H，之后经过两个权值共享的CCA模块得到经过优化的特征图，之后送入后面的分割头得到最后的分割结果。

2.2 CCA模块

文章的CCA模块其具体结构见下图所示：
在这里插入图片描述
输入的特征图表示为 H ∈ R C ∗ W ∗ H H\in R^{C*W*H} H∈RC∗W∗H，之后分别经过两个 1 ∗ 1 1*1 1∗1的卷积得到特征图 { Q , K } ∈ R C ‘ ∗ W ∗ H \{Q,K\}\in R^{C^{‘}*W*H} { Q,K}∈RC‘∗W∗H，再经过一个Affinity的操作（内部包含较多的切片操作，手机端部署难弄-_-||）得到对应的attention map A ∈ R ( W + H − 1 ) ∗ H ∗ W A\in R^{(W+H-1)*H*W} A∈R(W+H−1)∗H∗W。

具体的，对于 ( H , W ) (H,W) (H,W)空间位置 u u u处进行切片操作，对于特征图 Q Q Q进行切片得到 Q u ∈ R C ‘ Q_u\in R^{C^{‘}} Qu∈RC‘，对于特征图 K K K再横向和纵向进行切片得到 Ω u ∈ R ( W + H − 1 ) ∗ C ‘ \Omega_u\in R^{(W+H-1)*C^{‘}} Ωu∈R(W+H−1)∗C‘。那么在空间位置 u u u处的attention值（channel 维度进行softmax之前）计算描述为：
d i , u = Q u Ω i , u T d_{i,u}=Q_u\Omega_{i,u}^T di,u=QuΩi,uT
其中， d i , u ∈ D , D ∈ R ( H + W − 1 ) ∗ H ∗ W d_{i,u}\in D,\ D\in R^{(H+W-1)*H*W} di,u∈D, D∈R(H+W−1)∗H∗W，其中的 i ∈ [ 1 , … , ∣ Ω u ∣ ] i\in[1,\dots,|\Omega_u|] i∈[1,…,∣Ωu∣]代表的是特征图 K K K切片之后元素的索引。

在另外一个分支上输入的特征图 H H H经过一个 1 ∗ 1 1*1 1∗1卷积之后得到 V ∈ R C ∗ W ∗ H V\in R^{C*W*H} V∈RC∗W∗H，之后对特征图 V V V使用与特征 Q Q Q像素的切片操作得到在位置 u u u处得到 V u ∈ R C V_u\in R^C Vu∈RC，按照特征图 K K K类似的切片操作得到特征图 Φ u ∈ R ( H + W − 1 ) ∗ C \Phi_u\in R^{(H+W-1)*C} Φu∈R(H+W−1)∗C。则经过融合之后得到对应位置处的输出数据：
H u ‘ = ∑ i ∈ ∣ Φ u ∣ A i , u Φ i , u + H u H_u^{‘}=\sum_{i\in |\Phi_u|}A_{i,u}\Phi_{i,u}+H_u Hu‘=i∈∣Φu∣∑Ai,uΦi,u+Hu
其中， H ‘ ∈ R C ∗ W ∗ H H^{‘}\in R^{C*W*H} H‘∈RC∗W∗H。