《Towards Robust Monocular Depth Estimation：Mixing Datasets for Zero-shot Cross-dataset Transfer》论文笔记

淡淡的烟草味﹌ 2022-10-05 04:49 303阅读 0赞

参考代码：[MiDaS][]

# 1. 概述 #

> 导读：这篇文章提出了一种监督的深度估计方法，其中使用一些很有价值的策略使得最后深度估计的结果具有较大提升。具体来讲文章的策略可以归纳为：  
> 1）使用多个深度数据集（各自拥有不同的scale和shift属性）加入进行训练，增大数据量与实现场景的互补；  
> 2）提出了一种scale-shift invariable的loss用于去监督深度的回归过程，从而使得可以更加有效使用现有数据；  
> 3）采用从3D电影中进行采样的方式扩充数据集，从而进一步增加数据量；  
> 4）使用带有原则属性的多目标训练方法，从而得到一种更加行之有效的优化方法；  
> 结合上述的优化策略与方法，文章的最后得到的模型具有较强的泛化能力，从而摆脱了之前一些公开数据集场景依赖严重的问题。

现有制约深度估计算法的性能的很大因素是多场景下的丰富的稠密深度数据（也就是深度图），往往这些数据获取起来很难。因而如何更加高效使用现有公开的深度数据就变得很重要。对此文章在众多数据基础上提出了一种scale-shift invariable的监督机制，并且采用更加有效的优化策略去优化模型。文章的方法在一些case下的测试结果见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]

# 2. 数据收集 #

文章对现有的公开数据集进行了分析，选择下列的数据集加入训练。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
在上面的数据集中包含了作者制作的数据集3D movies，其通过3D电影中的左右视图进行双目立体匹配，从而得到一个相对的深度信息，从而极大丰富训练集中的场景涵盖范围。对于3D数据的处理文章分为下面的工作。

**3D电影的筛选与预处理：**  
文章首先按照如下的规则进行3D电影的筛选：

*  1）文章选择原生的物理双目摄像机拍摄的3D电影，而不是使用后期人工合成3D；
 *  2）对于电影中出现的内容，会出于实际的使用场景和场景的多样性去考量；
 *  3）选择那些具有更好分辨率的电影，比如蓝光的；

按照上述的规则进行筛选，下面的24部电影文章将其采样并进行数据处理：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]  
对于其中数据的提取，文章使用FFmpeg工具按照阈值0.1去提取clips，并按照下面的规则进行数据的处理：

*  1）删除那些小于一秒的，一般来讲其中包含嘈杂的场景与快速的镜头切换；
 *  2）为了平衡场景的多样性，首先会对每个clip的第一秒采样24个frame，之后每间隔4秒进行24 frame的采样；

在一些电影中会在左右或者上下添加黑色的边条，对此文章通过中心裁切的方式得到分辨率为1880\*800的图像，从而去掉黑边等无效信息。

**通过立体匹配得到深度：**  
通过左右视图进行视察估计的方法已经有很多了，文章也是采用现有的方法进行的。在此基础上文章通过引入光流估计实现视差数据的迁移，从而去补全部分深度，这里只使用了水平方向的光流。并将左右视图按照上面的变换关系进行交叉检验，并按照下面的规则滤除无效的数据：

*  1）超过10%的像素在垂直方向上的视差超过2个像素，水平方向上的视差小于10个像素；
 *  2）在左右视图的变换校验中其一致性少于70%；

最后通过一个分割模型进行分割得到天空区域，将这个区域的视差设置为当前图片的最小视差。下面的数据就是文章通过3D电影中进行抽取得到的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]  
PS：这里文章使用到的3D电影数据抽取的工程为：

1.  [issue 13: How to generate the training data?][issue 13_ How to generate the training data]
2.  [3DVideos2Stereo][]

# 2. 监督策略 #

## 2.1 scale-shift invariable损失 ##

对于深度图的表达文章中将其**统一为inverse depth**。这里使用掩膜 M M M代表GT中有效的深度信息（参见：[How to get the mask to input the loss function, issue 10][How to get the mask to input the loss function_ issue 10]），预测出来的深度表示为 d = d ( θ ) ∈ R M d=d(\\theta)\\in R^M d=d(θ)∈RM，其中 θ \\theta θ是网络的参数。对应的GT表示为 d ∗ ∈ R M d^\{\*\}\\in R^M d∗∈RM，那么其对应的损失应该描述为：  
 L s s i ( d ^ , d ∗ ^ ) = 1 2 M ∑ i = 1 M ρ ( d i ^ − d i ∗ ^ ) L\_\{ssi\}(\\hat\{d\},\\hat\{d^\{\*\}\})=\\frac\{1\}\{2M\}\\sum\_\{i=1\}^M\\rho(\\hat\{d\_i\}-\\hat\{d\_i^\{\*\}\}) Lssi(d^,d∗^)=2M1i=1∑Mρ(di^−di∗^)  
其中， d i ^ , d i ∗ ^ \\hat\{d\_i\},\\hat\{d\_i^\{\*\}\} di^,di∗^是经过scale和shift变换之后的深度像素信息。这里令涉及到的scale变换为 s ∈ R M → R + s\\in R^M\\rightarrow R\_+ s∈RM→R\+，对应的shift变换为 t ∈ R M → R t\\in R^M\\rightarrow R t∈RM→R。那么经过变换之后预测得到的结果应该满足：  
 s ( d ^ ) ≈ s ( d ∗ ^ ) , t ( d ^ ) ≈ t ( d ∗ ^ ) s(\\hat\{d\})\\approx s(\\hat\{d^\{\*\}\}),t(\\hat\{d\})\\approx t(\\hat\{d^\{\*\}\}) s(d^)≈s(d∗^),t(d^)≈t(d∗^)  
对此，文章提出了两种scale-shift invariable的策略，也就是去估计 ( s , t ) (s,t) (s,t)。

**最小二乘法估计：**  
那么对于未知的scale和shift，可以通过预测结果和GT上做映射，之后最小化得到，则可以描述为：  
 ( s , t ) = arg min ⁡ s , t ∑ i = 1 M ( s d i + t − d i ∗ ) 2 (s,t)=\\argmin\_\{s,t\}\\sum\_\{i=1\}^M(sd\_i+t-d\_i^\{\*\})^2 (s,t)=s,targmini=1∑M(sdi\+t−di∗)2  
 s . t .   d ^ = s d + t ,   d ∗ ^ = d ∗ s.t.\\ \\hat\{d\}=sd+t,\\ \\hat\{d^\{\*\}\}=d^\{\*\} s.t. d^=sd\+t, d∗^=d∗  
若令 d i ⃗ = ( d i , 1 ) T , h = ( s , t ) T \\vec\{d\_i\}=(d\_i,1)^T,h=(s,t)^T di=(di,1)T,h=(s,t)T，那么之前的优化则描述为：  
 h o p t = arg min ⁡ s , t ∑ i = 1 M ( d i ⃗ T h − d i ∗ ) 2 h^\{opt\}=\\argmin\_\{s,t\}\\sum\_\{i=1\}^M(\\vec\{d\_i\}^Th-d\_i^\{\*\})^2 hopt=s,targmini=1∑M(diTh−di∗)2  
则可以得到：  
 h o p t = ( ∑ i = 1 M d i ⃗ d i ⃗ T ) − 1 ( ∑ i = 1 M d i ⃗ d i ∗ ) h^\{opt\}=(\\sum\_\{i=1\}^M\\vec\{d\_i\}\\vec\{d\_i\}^T)^\{-1\}(\\sum\_\{i=1\}^M\\vec\{d\_i\}d\_i^\{\*\}) hopt=(i=1∑MdidiT)−1(i=1∑Mdidi∗)  
在当前策略下使用的度量为： ρ ( x ) = ρ m s e ( x ) = x 2 \\rho(x)=\\rho\_\{mse\}(x)=x^2 ρ(x)=ρmse(x)=x2，则使用该方法的损失取名为 L s s i m s e L\_\{ssimse\} Lssimse。

**直接估计法：**  
但是上面使用到的MSE损失**在一些异常值点处并不会稳定**，对此文章使用下面的方式进行估计：  
 t ( d ) = m e d i a n ( d ) , s ( d ) = 1 M ∑ i = 1 M ∣ d − t ( d ) ∣ t(d)=median(d),s(d)=\\frac\{1\}\{M\}\\sum\_\{i=1\}^M|d-t(d)| t(d)=median(d),s(d)=M1i=1∑M∣d−t(d)∣  
则经过归一化操作，预测结果与GT被描述为：  
 d ^ = d − t ( d ) s ( d ) , d ∗ ^ = d ∗ − t ( d ∗ ) s ( d ∗ ) \\hat\{d\}=\\frac\{d-t(d)\}\{s(d)\},\\hat\{d^\{\*\}\}=\\frac\{d^\{\*\}-t(d^\{\*\})\}\{s(d^\{\*\})\} d^=s(d)d−t(d),d∗^=s(d∗)d∗−t(d∗)  
这里使用到的度量为 ρ ( x ) = ρ m a e ( x ) = ∣ x ∣ \\rho(x)=\\rho\_\{mae\}(x)=|x| ρ(x)=ρmae(x)=∣x∣，则对应的取名为 L s s i m a e L\_\{ssimae\} Lssimae 。为了更进一步增加损失函数的鲁棒性，文章按照损失排序去掉损失前20%的像素（背后的原理是这些大概率的离群点不影响训练），则损失函数描述为：  
 L s s i t r i m ( d ^ , d ∗ ^ ) = 1 2 M ∑ j = 1 U m ρ m a e ( d j ^ − d j ∗ ^ ) L\_\{ssitrim\}(\\hat\{d\},\\hat\{d^\{\*\}\})=\\frac\{1\}\{2M\}\\sum\_\{j=1\}^\{U\_m\} \\rho\_\{mae\}(\\hat\{d\_j\}-\\hat\{d\_j^\{\*\}\}) Lssitrim(d^,d∗^)=2M1j=1∑Umρmae(dj^−dj∗^)  
其中， U m = 0.8 M U\_m=0.8M Um=0.8M。

**其它损失：**  
除了上述提到的一些损失之外，在深度估计中还有一些其它的损失形式，如scale-invariable的log-depth损失：  
 L s i l o g ( z , z ∗ ) = min ⁡ s 1 2 M ∑ i = 1 M ( l o g ( e s z i ) − l o g ( z i ∗ ) ) 2 L\_\{silog\}(z,z^\{\*\})=\\min\_s\\frac\{1\}\{2M\}\\sum\_\{i=1\}^M(log(e^sz\_i)-log(z\_i^\{\*\}))^2 Lsilog(z,z∗)=smin2M1i=1∑M(log(eszi)−log(zi∗))2

pair-wise ranking loss：  
 ρ o r d ( z i , z j ) = \{ l o g ( 1 + e x p ( − ( z i − z j ) l i j ) ) , l i j ≠ 0 ( z i − z j ) 2 , l i j = 0 \\rho\_\{ord\}(z\_i,z\_j) = \\begin\{cases\} log(1+exp(-(z\_i-z\_j)l\_\{ij\})), & \\text\{$l\_\{ij\}\\neq0$\} \\\\\[2ex\] (z\_i-z\_j)^2, & \\text\{$l\_\{ij\}=0$\} \\end\{cases\} ρord(zi,zj)=⎩⎨⎧log(1\+exp(−(zi−zj)lij)),(zi−zj)2,lij=0lij=0

以及多尺度的归一化多尺度梯度损失（normalized multiscale gradient，NMG）：  
 L n m g ( d , d ∗ ) = ∑ k = 1 K ∑ i = 1 M ∣ s Δ x k d − Δ x k d ∗ ∣ + ∣ s Δ y k d − Δ y k d ∗ ∣ L\_\{nmg\}(d,d^\{\*\})=\\sum\_\{k=1\}^K\\sum\_\{i=1\}^M|s\\Delta\_x^kd-\\Delta\_x^kd^\{\*\}|+|s\\Delta\_y^kd-\\Delta\_y^kd^\{\*\}| Lnmg(d,d∗)=k=1∑Ki=1∑M∣sΔxkd−Δxkd∗∣\+∣sΔykd−Δykd∗∣

## 2.2 最后使用的损失 ##

文章中对深度图的梯度进行了约束：  
 L r e g ( d ^ , d ∗ ^ ) = 1 M ∑ k = 1 K ∑ i = 1 M ( ∣ Δ x R i k ∣ + ∣ Δ y R i k ∣ ) L\_\{reg\}(\\hat\{d\},\\hat\{d^\{\*\}\})=\\frac\{1\}\{M\}\\sum\_\{k=1\}^K\\sum\_\{i=1\}^M(|\\Delta\_xR\_i^k|+|\\Delta\_yR\_i^k|) Lreg(d^,d∗^)=M1k=1∑Ki=1∑M(∣ΔxRik∣\+∣ΔyRik∣)  
其中， R i = d i ^ − d i ∗ ^ R\_i=\\hat\{d\_i\}-\\hat\{d\_i^\{\*\}\} Ri=di^−di∗^。最后的损失函数被描述为：  
 L = 1 N l ∑ n = 1 N l L s s i ( d n ^ , ( d ∗ ) n ^ ) + α L r e g ( d n ^ , ( d ∗ ) n ^ ) L=\\frac\{1\}\{N\_l\}\\sum\_\{n=1\}^\{N\_l\}L\_\{ssi\}(\\hat\{d^n\},(\\hat\{d^\{\*\})^n\})+\\alpha L\_\{reg\}(\\hat\{d^n\},(\\hat\{d^\{\*\})^n\}) L=Nl1n=1∑NlLssi(dn^,(d∗)n^)\+αLreg(dn^,(d∗)n^)  
其中， α = 0.5 \\alpha=0.5 α=0.5。上面内容中不同损失函数配对在最后性能上的影响：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
PS：参考：[loss implementation (issue 23)][loss implementation _issue 23]

## 2.3 网络优化策略 ##

在上面的内容中解决了不同数据集如何混合起来进行训练，但是众多的训练数据中，不同数据集**应该采取何种比例进行混合优化，这是未知的**。对此文章提出了两个种优化的策略：

*  1）均匀采样，也就是在每个batch中均匀去采样训练的数据集；
 *  2）选中一个带有原则性的训练优化算法，文章选择的是一个多目标的学习方法，它将学习的过程描述为（L这里为数据集的数量）：  
     min ⁡ θ ( L 1 ( θ ) , … , L L ( θ ) ) T \\min\_\{\\theta\}(L\_1(\\theta),\\dots,L\_\{L\}(\\theta))^T θmin(L1(θ),…,LL(θ))T  
    上述的式子中参数 θ \\theta θ是**共享**的。

PS：这里使用的训练策略为第二个，来源为：

1.  [Multi-Task Learning as Multi-Objective Optimization][]
2.  [MultiObjectiveOptimization][]

# 3. 实验结果 #

首先，文章对于不同MIX的定义见下表：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]  
不同数据集带来的影响：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]  
在此基础上优化策略带来的性能影响：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]  
不同backbone对性能的影响：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]

[MiDaS]: https://github.com/intel-isl/MiDaS
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20221005/d4ebc99caed84f349bc8a7238133cec4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20221005/67fea387058f4ea0a16f521f0e944c88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20221005/fb2d6e6792e54b1bbd9611d4257f50b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20221005/bb89a5ac509b44e4b90b7264510d34fd.png
[issue 13_ How to generate the training data]: https://github.com/intel-isl/MiDaS/issues/13
[3DVideos2Stereo]: https://github.com/lasinger/3DVideos2Stereo
[How to get the mask to input the loss function_ issue 10]: https://github.com/intel-isl/MiDaS/issues/10
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20221005/b9d21bfc9613455ba4640770e949cc76.png
[loss implementation _issue 23]: https://github.com/intel-isl/MiDaS/issues/23
[Multi-Task Learning as Multi-Objective Optimization]: https://arxiv.org/abs/1810.04650
[MultiObjectiveOptimization]: https://github.com/intel-isl/MultiObjectiveOptimization
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20221005/60664967560041039846a2281829fe2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]: /images/20221005/2635933c82ea4361b887fda879b90386.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]: /images/20221005/a15b2176533f4f23b3947dad9fd560bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]: /images/20221005/24b1b105c7014dadbc74baf52b0ca54a.png