《Unsupervised Monocular Depth Learning in Dynamic Scenes》论文笔记

左手的ㄟ右手 2022-09-16 14:23 252阅读 0赞

参考代码：[depth\_and\_motion\_learning][depth_and_motion_learning]

# 1. 概述 #

> 导读：这篇文章是在（[Depth from Videos in the Wild][]）的基础上进行改进得到的，在之前的文章中运动区域/物体通过mask标注或是bounding box标注的形式确定，但是这样或多或少会存在对外依赖的问题。对此，文章从 **刚性物体运动** 在相机前运动的特性进行分析得出如下两个特性：  
> 1）其在整幅图像中的**占比是较少的**，毕竟一般情况下不会运动的背景占据了较大的比例；  
> 2）刚性运动的物体其内部运动特性是**分段的常量值**，也就是对应的梯度变化很小；  
> 正是基于上述两点观察，文章在之前文章的基础上对运动物体区域构建了一个约束，从而减少了运动物体会深度估计带来的影响。

文章的方式是通过隐式约束的形式对刚性物体运动区域进行约束，从而避免了显示地对运动区域标注，因而文章的方法可以在输入2帧图像的情况下实现深度预测和物体运动感知，如下图所示：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16]

# 2. 方法设计 #

## 2.1 网络结构 ##

文章的网络结构如下图所示：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
整体上这里网络结构与之前文章（[Depth from Videos in the Wild][]）的网络结构类似，只是在一些细节上有所区别。这里深度估计网络的编解码结构是一致的，主要的不同点在相机位姿和内参估计网络上，在原本两帧图像输入基础上**添加了深度估计结果作为输入**。

## 2.2 损失函数 ##

**深度图平滑损失：**  
这部分损失是为了给深度估计结果带来平滑作用，减少噪声的产生，其损失函数描述为：  
 L r e g , d e p = α d e p ∬ ( ∣ ∂ u d ( u , v ) e − ∂ u I ( u , v ) + ∂ v d ( u , v ) e − ∂ v I ( u , v ) ∣ d u d v L\_\{reg,dep\}=\\alpha\_\{dep\}\\iint(|\\partial\_ud(u,v)e^\{-\\partial\_uI(u,v)\}+\\partial\_vd(u,v)e^\{-\\partial\_vI(u,v)\}|d\_ud\_v Lreg,dep=αdep∬(∣∂ud(u,v)e−∂uI(u,v)\+∂vd(u,v)e−∂vI(u,v)∣dudv

**循环一致性损失：**  
首先是变换矩阵的循环一致性约束，其描述为：  
 L c y c = α c y c ∣ ∣ R R i n v − 1 ∣ ∣ 2 ∣ ∣ R − 1 ∣ ∣ 2 + ∣ ∣ R i n v − 1 ∣ ∣ 2 + β c y c ∬ ∣ ∣ R i n v T ( u , v ) + T i n v ( u w a r p , v w a r p ) ∣ ∣ 2 ∣ ∣ T ( u , v ) ∣ ∣ 2 + ∣ ∣ T i n v ( u w a r p , v w a r p ) ∣ ∣ 2 d u d v L\_\{cyc\}=\\alpha\_\{cyc\}\\frac\{||RR\_\{inv\}-\\mathbf\{1\}||^2\}\{||R-\\mathbf\{1\}||^2+||R\_\{inv\}-\\mathbf\{1\}||^2\}+\\beta\_\{cyc\}\\iint\\frac\{||R\_\{inv\}T(u,v)+T\_\{inv\}(u\_\{warp\},v\_\{warp\})||^2\}\{||T(u,v)||^2+||T\_\{inv\}(u\_\{warp\},v\_\{warp\})||^2\}d\_ud\_v Lcyc=αcyc∣∣R−1∣∣2\+∣∣Rinv−1∣∣2∣∣RRinv−1∣∣2\+βcyc∬∣∣T(u,v)∣∣2\+∣∣Tinv(uwarp,vwarp)∣∣2∣∣RinvT(u,v)\+Tinv(uwarp,vwarp)∣∣2dudv  
图像域的循环一致性约束，描述为：  
 L r g b = α r g b ∬ ∣ I ( u , v ) − I w a r p ( u , v ) ∣ 1 D u , v > D w a r p ( u , v ) d u d v + β r g b 1 − S S I M ( I , I w a r p ) 2 L\_\{rgb\}=\\alpha\_\{rgb\}\\iint|I(u,v)-I\_\{warp\}(u,v)|\\mathbf\{1\}\_\{D\_\{u,v\}\\gt D\_\{warp\}(u,v)\}d\_ud\_v+\\beta\_\{rgb\}\\frac\{1-\\mathcal\{SSIM(I,I\_\{warp\})\}\}\{2\} Lrgb=αrgb∬∣I(u,v)−Iwarp(u,v)∣1Du,v>Dwarp(u,v)dudv\+βrgb21−SSIM(I,Iwarp)

**物体移动约束损失：**  
这部分损失主要是完成下面的两个作用：

*  1）根据上文提到的稀疏特性，对运动场做稀疏化约束，这里使用的 L 1 2 L\{\\frac\{1\}\{2\}\} L21，文章指出该函数具有更好的稀疏特性；
 *  2）基于刚性物体运动的分析，对刚性物体运动场施加梯度损失，使其在分布呈现分段的常量值特性；

首先对于常量值特性，添加梯度约束：  
 L g 1 \[ T ( u , v ) \] = ∑ i ∈ \{ x , y , z \} ∬ ( ∂ u T i ( u , v ) ) 2 + ( ∂ v T i ( u , v ) ) 2 d u d v L\_\{g1\}\[T(u,v)\]=\\sum\_\{i\\in \\\{x,y,z\\\}\}\\iint \\sqrt\{(\\partial\_uT\_i(u,v))^2+(\\partial\_vT\_i(u,v))^2\}d\_ud\_v Lg1\[T(u,v)\]=i∈\{ x,y,z\}∑∬(∂uTi(u,v))2\+(∂vTi(u,v))2dudv

接下来对稀疏化添加约束：  
 L 1 2 \[ T ( u , v ) \] = 2 ∑ i ∈ \{ x , y , z \} ⟨ ∣ T i ∣ ⟩ ∬ ( 1 + ∣ T i ( u , v ) ∣ ⟨ ∣ T i ∣ ⟩ d u d v L\_\{\\frac\{1\}\{2\}\}\[T(u,v)\]=2\\sum\_\{i\\in \\\{x,y,z\\\}\}\\langle|T\_i|\\rangle\\iint \\sqrt\{(1+\\frac\{|T\_i(u,v)|\}\{\\langle|T\_i|\\rangle\}\}d\_ud\_v L21\[T(u,v)\]=2i∈\{ x,y,z\}∑⟨∣Ti∣⟩∬(1\+⟨∣Ti∣⟩∣Ti(u,v)∣dudv

则这部分整体的损失函数描述为：  
 L r e g , m o t α m o t L g 1 \[ T o b j ( u , v ) \] + β m o t L 1 2 \[ T o b j ( u , v ) \] L\_\{reg,mot\}\\alpha\_\{mot\}L\_\{g1\}\[T\_\{obj\}(u,v)\]+\\beta\_\{mot\}L\_\{\\frac\{1\}\{2\}\}\[T\_\{obj\}(u,v)\] Lreg,motαmotLg1\[Tobj(u,v)\]\+βmotL21\[Tobj(u,v)\]  
则对应的损失函数实现可以参考：

# losses/loss_aggregator.py#L283
    normalized_trans = regularizers.normalize_motion_map(
        residual_translation, translation)
    self._losses['motion_smoothing'] += scale_w * regularizers.l1smoothness(  # 对应公式2，分段常量值约束
        normalized_trans, self._weights.motion_drift == 0)
    self._losses['motion_drift'] += scale_w * regularizers.sqrt_sparsity(  # 对应公式3，稀疏性约束
        normalized_trans)

上面提到的几点约束的消融实验结果：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]

# 3. 实验结果 #

**Cityscapes数据集**上性能对比：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
**KITTI数据集**上性能对比：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]

[depth_and_motion_learning]: https://github.com/google-research/google-research/tree/master/depth_and_motion_learning
[Depth from Videos in the Wild]: https://blog.csdn.net/m_buddy/article/details/120857470
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/8689551260e2401aabbf546188c8de46.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/bb431e89083949d89bdc6ec26dd91ec1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/ef0bb4129ae04c3290e99037c8af3d98.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/9bd36841c5574fc4a91075ebc7d32af3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbV9idWRkeQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/837e32cc440c40e9be1d78ffb8f38f0d.png