《Robust Consistent Video Depth Estimation》论文笔记

深碍√TFBOYSˉ_ 2022-10-12 00:49 9阅读 0赞

主页与代码地址：[robust\_cvd][robust_cvd]

# 1. 概述 #

> 导读：这篇文章的目的是为了在视频场景下生成稳定的深度估计结果，其提出的算法可以在一个单目视频中估计出一致的深度图和相机位姿。文章首先会使用MiDas为视频中的单帧图像做初始深度估计（主要用于提供深度scale参数），以及使用Ceres Library上计算相机的初始位姿信息。之后再在输入的视频序列上使用在线finetune形式交替进行深度估计结果与相机位姿优化。在上面的finetune优化中使用到了一个几何优化过程去生成稳定平滑地相机移动轨迹（表征为相机关联的内外参数）与深度细节保存完好且稳定的深度结果。在上面提到的相机位姿优化与最后深度估计生成过程包含两个互补的技术（分别对低频区域和高频区域）：  
> 1）使用灵活的变化样条函数去实现图像内低频区域的区块对齐；  
> 2）使用一个几何感知深度滤波器在不同的视频帧上去对齐高频的细节部分。  
> 相比之前的方法（[《Consistent Video Depth Estimation》][Consistent Video Depth Estimation]），文章并不需要相机的位姿信息作为输入，在文章算法中对其进行预测。同时文章方法的设计是源自于上面论文的。

# 2. 方法设计 #

## 2.1 算法Pipline ##

文章的视频深度估计pipeline见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]  
从图中可以看到文章的pipeline主要划分为个部分：

*  1）使用MiDas作为单帧深度估计方法，从而估计得到单帧图像的初始深度信息。使用Ceres Library从视频序列中去计算初始相机位姿；
 *  2）使用finetune训练的形式从输入的视频序列中交替优化深度估计结果与相机位姿信息，在相机位姿估计过程中使用样条差值的形式实现深度对齐，从而使得相机位姿估计的结果稳定；
 *  3）使用几何感知的深度滤波器在多帧之间进行滤波保留和优化深度估计中的高频信息；

## 2.2 准备工作 ##

输入一个视频序列之后，除了上述中提到会使用MiDas计算一个初始深度和相机位姿之外，还会对视频进行不同间隔的采样得到一个**视频帧对**（图像对）的集合，其在视频序列上进行采样可以使用下面的式子进行描述：  
 P = \{ ( i , j ) ∣ ∣ i − j ∣ = k , i   m o d   k = 0 , k = 1 , 2 , 4 , …   \} P=\\\{(i,j)\\mid |i-j|=k,i\\ mod\\ k=0,k=1,2,4,\\dots\\\} P=\{ (i,j)∣∣i−j∣=k,i mod k=0,k=1,2,4,…\}  
也就是下图表述的间隔采样的形式：  
![在这里插入图片描述][20210701234633429.png]  
对于一个采样到的图像对 ( i , j ) ∈ P (i,j)\\in P (i,j)∈P文章会在其上使用RAFT计算光流 f i → j f\_\{i\\rightarrow j\} fi→j，之后通过前后光流的一致性得到二值掩膜 m i → j f l o w m\_\{i\\rightarrow j\}^\{flow\} mi→jflow。使用Mask RCNN取出图像中可能存在移动的目标（如行人/车辆等）掩膜 m i d y n m\_i^\{dyn\} midyn。

接下来的过程是在给定视频序列基础上进行finetune（交替优化深度预测与相机位姿估计），从而在视频上得到深度一致的预测结果。其中深度估计和相机位姿式交替进行的，并且在相机位姿估计中增加了深度对齐，增加了稳定性。图3中的（d）是使用SFM预测相机位姿的结果，图3中（c）是使用深度信息去反推相机位姿的结果，没有深度对齐会对相机位姿的准确推断带来很大干扰。对此，文章将finetune中的交替优化过程参见下文。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]

## 2.3 深度估计优化 ##

## 2.3.1 光度构建约束 ##

这里使用 s i s\_i si表示从MiDas中计算来的scale参数，将一个像素使用齐次坐标的形式表示 p ˉ = \[ p x , p y , 1 \] T \\bar\{p\}=\[p\_x,p\_y,1\]^T pˉ=\[px,py,1\]T， d i d\_i di是深度估计模型输出的深度结果。则将其映射到3D的相机坐标可以表示为：  
 c i ( p ) = s i d i ( p ) p ˉ c\_i(p)=s\_id\_i(p)\\bar\{p\} ci(p)=sidi(p)pˉ  
之后通过帧间的变换关系进行帧间的变换：  
 c i → j ( p ) = K j R j T ( R i K i − 1 c i ( p ) + t i − t j ) c\_\{i\\rightarrow j\}(p)=K\_jR\_j^T(R\_iK\_i^\{-1\}c\_i(p)+t\_i-t\_j) ci→j(p)=KjRjT(RiKi−1ci(p)\+ti−tj)  
其中， R i , R j R\_i,R\_j Ri,Rj和 t i , t j t\_i,t\_j ti,tj是帧 ( i , j ) (i,j) (i,j)的旋转平移参数， K i , K j K\_i,K\_j Ki,Kj是对应的内参。则光度重重建误差可以描述为：  
 arg min ⁡ θ d e p t h ∑ ( i , j ) ∈ P ∑ p ∈ m i → j f l o w L i → j r e p r o ,   s . t .   f i x e d   θ c a m \\argmin\_\{\\theta^\{depth\}\}\\sum\_\{(i,j)\\in P\}\\sum\_\{p\\in m\_\{i\\rightarrow j\}^\{flow\}\}L\_\{i\\rightarrow j\}^\{repro\},\\ s.t.\\ fixed\\ \\theta^\{cam\} θdepthargmin(i,j)∈P∑p∈mi→jflow∑Li→jrepro, s.t. fixed θcam  
其中，相机位姿的参数描述为 θ c a m = \{ R i , t i , K i , s i \} \\theta^\{cam\}=\\\{R\_i,t\_i,K\_i,s\_i\\\} θcam=\{ Ri,ti,Ki,si\}。上述的损失度量被定义为：  
 L i → j r e p r o = L j s i m ( c i → j ( p ) , c j ( f i → j ( p ) ) ) L\_\{i\\rightarrow j\}^\{repro\}=L\_j^\{sim\}(c\_\{i\\rightarrow j\}(p),c\_j(f\_\{i\\rightarrow j\}(p))) Li→jrepro=Ljsim(ci→j(p),cj(fi→j(p)))  
注意上述的计算是在3维空间上做的，也就是 ( x , y , z ) (x,y,z) (x,y,z)上进行的。对于上述损失的度量文章将其取为：  
 L s i m ( a , b ) = L s p a t i a l ( a , b ) + L r a t i o ( a , b ) L^\{sim\}(a,b)=L^\{spatial\}(a,b)+L^\{ratio\}(a,b) Lsim(a,b)=Lspatial(a,b)\+Lratio(a,b)  
其中spatial上的分量被定义为：  
 L s p a t i a l ( a , b ) = ∣ ∣ a x y z z − b x y b z ∣ ∣ 2 2 L^\{spatial\}(a,b)=||\\frac\{a\_\{xy\}\}\{z\_z\}-\\frac\{b\_\{xy\}\}\{b\_z\}||\_2^2 Lspatial(a,b)=∣∣zzaxy−bzbxy∣∣22  
ratio上的分量定义为：  
 L r a t i o ( a , b ) = m a x ( a z , b z ) m i n ( a z , b z ) − 1 L^\{ratio\}(a,b)=\\frac\{max(a\_z,b\_z)\}\{min(a\_z,b\_z)\}-1 Lratio(a,b)=min(az,bz)max(az,bz)−1

## 2.3.2 相机位姿估计 ##

文章深度估计与相机位姿估计的优化是交替进行的，为了在相机位姿估计的过程中提升其稳定性（否则结果像图3的（d）图），这里对图片中的深度信息进行了对齐，也就是将图像中的深度划分成网格，不同网格给定不同的scale系数 s i k s\_i^k sik，之后通过样条插值的方式得到对齐之后的结果，也就是描述为下面的方式：  
 φ i ( p ) = ∑ k b k ( p ) s i k \\varphi\_i(p)=\\sum\_kb\_k(p)s\_i^k φi(p)=k∑bk(p)sik  
其中， b k ( p ) b\_k(p) bk(p)是插值的系数。经过上面的深度对齐之后相机的位姿估计得到强化，其得到的结果见图3的（e）图所示。

同时为了增加插值区域的平滑特性，这里增加了一个正则函数用于取惩罚相邻区域（grid）中存在较大值上的差异，其约束形式描述为：  
 L d e f o r m = ∑ i ∑ ( k , r ) ∈ N ∣ ∣ s i k − s i r ∣ ∣ 2 2   m a x ( w i k , w i r ) L^\{deform\}=\\sum\_i\\sum\_\{(k,r)\\in N\}||s\_i^k-s\_i^r||\_2^2\\ max(w\_i^k,w\_i^r) Ldeform=i∑(k,r)∈N∑∣∣sik−sir∣∣22 max(wik,wir)  
其中， N N N代表的是馊油水平和垂直方向的临近顶点。为了增加平滑性上述式子中还增加了加权系数，其计算的过成描述为：  
 w i k = λ 1 + λ 2 ∑ p m i d y n ( p ) b k ( p ) w\_i^k=\\lambda\_1+\\lambda\_2\\sum\_pm\_i^\{dyn\}(p)b\_k(p) wik=λ1\+λ2p∑midyn(p)bk(p)  
其中， λ 1 = 0.1 , λ 2 = 10 \\lambda\_1=0.1,\\lambda\_2=10 λ1=0.1,λ2=10。

## 2.4 几何感知的深度滤波 ##

为了提升最后深度图上的高频响应特性文章使用相邻的几个视频帧进行滤波，描述为：  
 d i f i n a l = ∑ q ∈ N ( p ) ∑ j = i − τ i + τ z j → i ( f ˉ i → j ( q ) ) w i → j ( q ) d\_i^\{final\}=\\sum\_\{q\\in N(p)\}\\sum\_\{j=i-\\tau\}^\{i+\\tau\}z\_\{j\\rightarrow i\}(\\bar\{f\}\_\{i\\rightarrow j\}(q))w\_\{i\\rightarrow j\}(q) difinal=q∈N(p)∑j=i−τ∑i\+τzj→i(fˉi→j(q))wi→j(q)  
其中， N p N\_\{p\} Np是像素 p p p周边的 3 ∗ 3 3\*3 3∗3邻域。 τ \\tau τ是索取的帧范围。 z j → i z\_\{j\\rightarrow i\} zj→i是3D坐标 c j → i c\_\{j\\rightarrow i\} cj→i中的深度分量。 f ˉ \\bar\{f\} fˉ是对应多个帧的光流累积。 w i → j ( q ) w\_\{i\\rightarrow j\}(q) wi→j(q)是一个加权因子，用以保边并且排除深度边界周围值的影响，其定义形式为：  
 w i → j ( q ) = e x p ( − λ f L r a t i o ( c i ( p ) , c j → i ( f ˉ i → j ( q ) ) ) ) w\_\{i\\rightarrow j\}(q)=exp(-\\lambda\_fL^\{ratio\}(c\_i(p),c\_\{j\\rightarrow i\}(\\bar\{f\}\_\{i\\rightarrow j\}(q)))) wi→j(q)=exp(−λfLratio(ci(p),cj→i(fˉi→j(q))))  
其中， λ f = 3 \\lambda\_f=3 λf=3。其改进的效果可以参见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]

# 3. 实验结果 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]

[robust_cvd]: https://robust-cvd.github.io/
[Consistent Video Depth Estimation]: https://roxanneluo.github.io/Consistent-Video-Depth-Estimation/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20221005/11332b43b1c04e63b84429e0dbb0b36b.png
[20210701234633429.png]: /images/20221005/79d0b90f6ac24c02926007fe66fbd37a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20221005/aa793859b7be4075904b37edaf74dbfc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20221005/a7ac0554a6154ce2ad99c462733f5315.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20221005/652ae4ea89074e0bb9a06daa9a9f26ad.png