视频光流提取《FlowNet: Learning Optical Flow with Convolutional Networks》

待我称王封你为后i 2022-08-30 11:38 144阅读 0赞

**核心思想：**使用卷积神经网络提取视频光流运动信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70][]

上图是抽象的网络结构描述，convolution network的前半段进行卷积和池化操作，输出特征图分辨率逐渐变小。Convolution network的后半段使用反卷积和特征concat融合操作，输出特征图分辨率逐渐变大。

**网络结构：**

**FlowNetS:**

![20210720091815802.png][]

FlowNetS直接把一对图像输入到卷积网络中，让网络自己学习提取运动特征，理论上只要网络规模足够大，是可以学习到光流特征的，FlowNetS输入的是两张图片，所以输入通道数是6。上图中箭头表示特征融合，将低维特征和高维特征进行融合，提取细粒度特征。

**FlowNetC:**

![20210720091835595.png][]

FlowNetC使用孪生网络提取两帧图像之间的光流运动特征，首先对两张图片进行相同的处理，然后将处理结果进行结合来提取光流特征。使用互相关层来比较两个特征图中的patch（比如3x3的区域）。使用特征图1上的每个patch区域和特征图2上的每个patch区域进行互相关操作，这个操作类似于将特征图1上的所有patch作为卷积kernel对特征图2进行卷积操作。上图中箭头表示特征融合，将低维特征和高维特征进行融合，提取细粒度特征。

单次互相关操作的表示如下：

![20210720091849115.png][]

上述公式其实等价于卷积操作中的一个计算步骤，这里没有卷积核，而是两个patch的图片，所以互相关操作没有需要训练的参数。每一个patch x只和其邻域内的一些patch进行互相关操作，邻域大小为D,每一次互相关操作得到一个标量值所以互相关的输出形状为D\*D，所以两张图像互相关的输出大小为w\*h\*D\*D。

**特征融合，进行特征上采样得到细粒度特征：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 1][]

在CNN中通过使用stride卷积和pooling操作提取抽象的高维特征，但是optical flow任务是pixel-wise的，所以太抽象了也不行。论文中采用反卷积操作提升特征图的分辨率，然后和相同分辨率的低维特征进行concat特征融合，最终输出的特征图大小是原始图像的1/4(长宽各缩小一半)。上图中由下往上的箭头conv5\_1、conv4\_1、conv3\_1、conv2就是卷积网络下采样过程中的输出特征，然后和对应的反卷积特征将进行融合，实现细粒度的特征提取。

**特征融合变体（还没看懂hhh）：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 2][]

参考：[https://blog.csdn.net/jucilan3330/article/details/84331626][https_blog.csdn.net_jucilan3330_article_details_84331626]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70]: /images/20220829/99aad71132ac4401989d0e6e50989ce2.png
[20210720091815802.png]: /images/20220829/88fde88dd2384f35ade64e903921837a.png
[20210720091835595.png]: /images/20220829/8e1aff2624d145788637009e7458aed3.png
[20210720091849115.png]: /images/20220829/155b82d4a02244d0aea7e2d6d94f3ca3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 1]: /images/20220829/fc0dcd9ce3b74508b2038ce7b270850c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 2]: /images/20220829/cb8b15e039a843d2b5bb3b6ff1604497.png
[https_blog.csdn.net_jucilan3330_article_details_84331626]: https://blog.csdn.net/jucilan3330/article/details/84331626