《WSVD：Web Stereo Video Supervision for Depth Prediction from Dynamic Scenes》论文笔记

你的名字 2022-09-09 04:47 182阅读 0赞

参考代码：[wsvd\_test][wsvd_test]

# 1. 概述 #

> 导读：在这篇文章中提出了一种基于光流估计的深度估计网络。该方法首先使用左右双目图像作为输入，并从中估计出光流信息，之后按照估计的光流对图像进行warp，这样就得到深度估计网络需要的3个（warp之后的图像1、光流、图像2）输入。接下来经过编解码网络之后实现对深度的估计。同时为了获得大量且场景多样化的双目3D（左右）图像，文章通过在YouTube中筛选的方式确定了文章使用的WSVD数据集。由于这些数据来源是未知的（其中的焦距、基线等）所以文章提出了一种以归一化梯度为主的损失函数。

文章深度估计方法是属于回归类型的，通过使用场景多样的WSVD数据集以及对相机参数不敏感的梯度损失函数实现监督，从而得到相对鲁棒的深度估计结果。文章的效果可参见下图：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16]  
同时对WSVD数据集中的场景分布进行统计，可以得到下面的统计结果（字越大代表的占有的比例越大），参考下图：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]

# 2. 方法设计 #

## 2.1 方法pipline ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
文章提出的pipeline结构如上图，通过FlowNet2生成编解码网络所需的3个输入，之后通过梯度损失函数进行监督。

## 2.2 损失函数 ##

在双目系统下深度可以通过几个变量描述：  
 q = d − ( c x R − c x L ) f b q=\\frac\{d-(c\_x^R-c\_x^L)\}\{fb\} q=fbd−(cxR−cxL)  
其中， f b fb fb代表的是焦距和基线， d m i n = c x R − c x L d\_\{min\}=c\_x^R-c\_x^L dmin=cxR−cxL是图像对中的最小视差。但是上述关系中涉及到的3个变量是未知的，对此文章提出从梯度角度出发提出一种基于梯度的深度监督损失（NMG，normalized multiscale gradient）。这里监督是使用网络估计出的深度和视差图在梯度上进行回归，其损失函数描述为：  
 L = ∑ k ∑ i ∣ s ∇ x k q i − ∇ x k d i ∣ + ∣ s ∇ y k q i − ∇ y k d i ∣ L=\\sum\_k\\sum\_i|s\\nabla\_x^kq\_i-\\nabla\_x^kd\_i|+|s\\nabla\_y^kq\_i-\\nabla\_y^kd\_i| L=k∑i∑∣s∇xkqi−∇xkdi∣\+∣s∇ykqi−∇ykdi∣  
其中， ∇ x k , ∇ y k \\nabla\_x^k,\\nabla\_y^k ∇xk,∇yk代表的是在不空的尺度 k = \{ 2 , 8 , 32 , 64 \} k=\\\{2,8,32,64\\\} k=\{ 2,8,32,64\}下的图像梯度。其中的尺度因子计算描述为：  
 s = ∑ k ∑ i ∣ ∇ x k d i ∣ + ∑ k ∑ i ∣ ∇ y k d i ∣ ∑ k ∑ i ∣ ∇ x k q i ∣ + ∑ k ∑ i ∣ ∇ y k q i ∣ s=\\frac\{\\sum\_k\\sum\_i|\\nabla\_x^kd\_i|+\\sum\_k\\sum\_i|\\nabla\_y^kd\_i|\}\{\\sum\_k\\sum\_i|\\nabla\_x^kq\_i|+\\sum\_k\\sum\_i|\\nabla\_y^kq\_i|\} s=∑k∑i∣∇xkqi∣\+∑k∑i∣∇ykqi∣∑k∑i∣∇xkdi∣\+∑k∑i∣∇ykdi∣  
文章损失函数与ranking loss的比较：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]

# 3. 实验结果 #

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]

[wsvd_test]: https://github.com/MightyChaos/wsvd_test
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/71fd75904bf043ebbc9e8d2153f111de.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/172e7d28791d45c6a4694c25e3507b02.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/9f0caab424784aa3b8f0ccf632438258.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220829/6bd3612379424dc69c79160b5451f998.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220829/c8b509dd0af74b92ae3f6cc197368472.png