《Non-local Neural Networks》个人总结理解

- 日理万妓 2022-09-10 00:29 274阅读 0赞

**问题分析：**

神经网络中的long-range依赖问题，对于序列数据（如语音、文字），可以使用RNN循环神经网络来提取长距离依赖，对于图像数据，由于卷积操作具有的局部连接的特性，使得卷积的结果仅和周围的局部区域相关。为了使的卷积操作能够捕捉到更大的依赖关系，目前的做法是增大卷积的感受野，这也就是常见的卷积+下采样（池化）的网络结构。这种网络结构存在以下限制：

1.  计算效率不高
2.  优化困难
3.  跨级的依赖关系比较困难

**核心观点：**

论文提出的Non-Local操作，每个位置的特征都是通过加权计算所有位置的特征得到的，并且权重参数是通过学习得到的，所以可以解决长距离的依赖问题。并且，加权计算可以在space（2D）、time（1D）、spacetime（3D）多种维度上进行，也就是说这种操作可以适用于一维、二维和三维数据处理。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_20_color_FFFFFF_t_70_g_se_x_16][]

**Non-Local操作的优势：**

1.  与卷积的渐进堆叠方式不同，Non-Local通过直接加权计算得到长距离依赖关系
2.  Non-Local操作的计算效率高
3.  Non-Local保持输入输出的维度不变，所以可以嵌入到网络的任意位置，可以作为一个即插即用的模块嵌入到网络中

**Non-Local操作的基本公式：**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_17_color_FFFFFF_t_70_g_se_x_16][]

x是输入信号，y是输出信号，x和y的形状相同。x\_i代表当前位置的特征，x\_j代表其他位置的特征，二元函数f计算每个j位置与当前位置i的权重系数，一元函数g对每个位置j的特征做一次变换，通常使用1x1的卷积操作，然后进行加权求和得到当前位置i的特征。C(x)是起到归一化的作用。

通过上述Non-Local的公式可以看到，Non-Local在计算过程中参考了所有位置的特征，相比之下，卷积操作只计算卷积核覆盖的局部区域，RNN操作只计算之前的特征，不会考虑之后的特征。

**Non-Local操作不同于FC全连接层：**

1.  Non-Local可以处理任意大小的输入，FC只能处理固定大小的输入
2.  Non-Local的权重是通过计算两个位置的相关系数得到的，而FC的权重是学习得到的
3.  FC一般用在网络在最后，用于输出，而Non-Local可以在网络的早期阶段使用
4.  Non-Local可以处理1D、2D、3D的输入数据，FC只能处理1D的输入数据

**Self-Attention与CNN的关系**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

普通的CNN操作具有局部连接的特性，感受野的大小受到卷积核以及网络深度的限制，卷积的计算结果是局部的weighted sum加权和。Self-Attention通过计算每个position与其他所有position的weight权重，加权求和来实现全局连接，所以self-Attention比CNN具有更多的参数，更大的function set，更高的灵活性，同时也更容易出现过拟合。可以简单理解为CNN是self-Attention的缩小版，self-Attention是CNN的放大版。

**Non-Local操作具体实现：**

前面看了Non-Local操作的计算公式，在具体实现上可以使用不同的f、g和C(x)。论文中对于一元函数g使用的是一个简单的线性变换，也就是一个1x1卷积操作。对于二元函数f的具体实现，作者尝试了4中不同的方式：

**高斯函数（****Gaussian）**

![20210903084934989.png][]

![20210903084934990.png][]

**嵌入式高斯函数（****Embedded Gaussian）**

![20210903084934990.png][]

![20210903084934989.png][]

高斯函数实现的f和C(x)实际上就组成了一个softmax层，这个softmax作用于每一行，对应的每一列表示权重系数。

**点积（****Dot product）**

![20210903085036448.png][]

**连接（****Concatenation）**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_14_color_FFFFFF_t_70_g_se_x_16][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_12_color_FFFFFF_t_70_g_se_x_16][]

作者实验发现，这几种实现方式的性能几乎一样，都会带来性能的大幅提升，只是点积的性能稍微好一丢丢。

有了上述实现方法，下面看一下Non-Local Block模块的结构：

![20210903085122202.png][]

这里的x和y和上面公式中的意思一样，x表示输入，y表示输出，x和y具有相同的维度，并且还是一个residual残差模块，残差模块有一个好处就是，对于现有的网络模型，加入Non-Local模块，设置W参数为0就可以还原成为原本的网络模型。具体的网络结构长这样：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

对于![20210903085122203.png][] 和 g 部分，在卷积之后同时使用同样大小的下采样可以进一步降低Non-Local Block的计算量。

Non-Local模块实现参考代码：[Non-local\_pytorch/non\_local\_dot\_product.py at master · AlexHex7/Non-local\_pytorch · GitHub][Non-local_pytorch_non_local_dot_product.py at master _ AlexHex7_Non-local_pytorch _ GitHub]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/531bbad877774a749a849b83edfa447a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/70c162d625ce42498c8cdce50f1bf3fb.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/d2277ec341bd47e4a6349427abb108da.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/9a3f7a3869824553b18018958ab3dae4.png
[20210903084934989.png]: /images/20220829/203f23be97d84503830b38c6b48e3dac.png
[20210903084934990.png]: /images/20220829/7fae1f51c7b24d06a59a600d150a3faa.png
[20210903085036448.png]: /images/20220829/3b5664582e85403da44fa9ac9f37dfa1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/fa56823d1af64a1c84307bcbb5b87e74.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/11f935bd58314f6ea7d30ea35059a737.png
[20210903085122202.png]: /images/20220829/81862bab62894a928289a9cf1a9cba21.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5aSn5rW3_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220829/77fd8a5489b34fa3a950424c3c09d183.png
[20210903085122203.png]: /images/20220829/f230ea3cfb444857aae6de26f2c9d3e2.png
[Non-local_pytorch_non_local_dot_product.py at master _ AlexHex7_Non-local_pytorch _ GitHub]: https://github.com/AlexHex7/Non-local_pytorch/blob/master/Non-Local_pytorch_0.4.1_to_1.1.0/lib/non_local_dot_product.py