论文笔记_S2D.26_2017-ICCV_半监督深度学习的单目深度图预测

本是古典何须时尚 2022-12-18 02:58 173阅读 0赞

**目录**

一、基本信息

二、研究背景

三、创新点

损失函数

Supervised loss.

Unsupervised loss.

Regularization loss.

总损失

网络结构

四、实验结果

五、结论与思考

作者结论

总结

思考

参考

--------------------

# 一、基本信息 #

*  标题：Semi-Supervised Deep Learning for Monocular Depth Map Prediction
 *  时间：2017
 *  引用格式：Kuznietsov Y, Stuckler J, Leibe B. Semi-supervised deep learning for monocular depth map prediction\[C\]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 6647-6655.

# 二、研究背景 #

监督学习：需要大量标记数据，激光雷达RGBD等获取的数据存在噪声且稀疏，激光与照相机的投影中心不重合  
无监督学习：对应没有纹理的地方，预测不了

总结一下**深度预测发展**：

*  Saxena et al. 第一个基于监督学习方法，使用MRF，手动提取特征
 *  Eigen et al.使用CNN，由粗到细的多层网络。[笔记][Link 1]
 *  Li et al.使用CNN结合CRFs超像素分割
 *  Liu et al.端到端训练一元势和成对势的CNN特征，连续深度和高斯假设？？
 *  Laina et al.使用ResNet构建深度卷积，得到预测密度更大
 *  此后，图像的深度转移的思想\[或者将深度图预测与语义分割相结合
 *  Garg et al. FCN FlowNet 使用光测误差。（利用一阶泰勒近似将损失线性化，因此需要从粗到细的训练？？）
 *  Xie et al. 视差方法，最小化像素级重建误差。
 *  Godard et al.也是视差方法，最小重建误差，但是使用左右约束。[笔记][Link 2]

# 三、创新点 #

本文提出使用监督和非监督结合的方法。一个训练配对图需要2张深度图（LiDAR获得），2张RGB图。  
![在这里插入图片描述][20200624231010627.png]  
令CNN预测的深度倒数ρ ( x ) \\rho(\\mathbf\{x\})ρ(x)和激光雷达得到的深度Z ( x ) Z(\\mathbf\{x\})Z(x)对应关系：  
ρ ( x ) − 1 = ! Z ( x ) \\rho(\\mathbf\{x\})^\{-1\} \\stackrel\{!\}\{=\} Z(\\mathbf\{x\})ρ(x)−1=!Z(x)

图像减去视差f b ρ ( x ) f b \\rho(\\mathbf\{x\})fbρ(x)：  
ω ( x , ρ ( x ) ) : = x − f b ρ ( x ) \\omega(\\mathbf\{x\}, \\rho(\\mathbf\{x\})):=\\mathbf\{x\}-f b \\rho(\\mathbf\{x\})ω(x,ρ(x)):=x−fbρ(x)

令左图I 1 I\_1I1等于右图I 2 I\_2I2-视差：  
I 1 ( x ) = ! I 2 ( ω ( x , ρ ( x ) ) ) I\_\{1\}(\\mathbf\{x\}) \\stackrel\{!\}\{=\} I\_\{2\}(\\omega(\\mathbf\{x\}, \\rho(\\mathbf\{x\})))I1(x)=!I2(ω(x,ρ(x)))

结合左右图像：  
I left ( x ) = ! I right ( ω ( x , ρ ( x ) ) ) I right ( x ) = ! I left ( ω ( x , − ρ ( x ) ) )

Ileft(x)=!Iright(ω(x,ρ(x)))Iright(x)=!Ileft(ω(x,−ρ(x)))Ileft(x)=!Iright(ω(x,ρ(x)))Iright(x)=!Ileft(ω(x,−ρ(x)))

Ileft(x)=!Iright(ω(x,ρ(x)))Iright(x)=!Ileft(ω(x,−ρ(x)))

## 损失函数 ##

### Supervised loss. ###

L θ S = ∑ x ∈ Ω Z , l ∥ ρ l , θ ( x ) − 1 − Z l ( x ) ∥ δ + ∑ x ∈ Ω Z , r ∥ ρ r , θ ( x ) − 1 − Z r ( x ) ∥ δ

LSθ=∑x∈ΩZ,l∥∥ρl,θ(x)−1−Zl(x)∥∥δ+∑x∈ΩZ,r∥∥ρr,θ(x)−1−Zr(x)∥∥δLθS=∑x∈ΩZ,l‖ρl,θ(x)−1−Zl(x)‖δ+∑x∈ΩZ,r‖ρr,θ(x)−1−Zr(x)‖δ

LθS=x∈ΩZ,l∑∥∥ρl,θ(x)−1−Zl(x)∥∥δ+x∈ΩZ,r∑∥∥ρr,θ(x)−1−Zr(x)∥∥δ

θ \\thetaθ是CNN参数那么预测的深度倒数：ρ r / l , θ \\rho\_\{r/l, \\theta\}ρr/l,θ，∥ ⋅ ∥ δ \\|\\cdot\\|\_\{\\delta\}∥⋅∥δ是berHu范数，结合了L1和L2范数：  
∥ d ∥ δ = \{ ∣ d ∣ , d ≤ δ d 2 + δ 2 2 δ , d > δ \\|d\\|\_\{\\delta\}=\\left\\\{

|d|,d≤δd2+δ22δ,d>δ|d|,d≤δd2+δ22δ,d>δ

\\right.∥d∥δ=\{∣d∣,d≤δ2δd2+δ2,d>δ

δ = 0.2 max ⁡ x ∈ Ω Z ( ∣ ρ ( x ) − 1 − Z ( x ) ∣ ) \\delta=0.2 \\max \_\{\\mathbf\{x\} \\in \\Omega\_\{Z\}\}\\left(\\left|\\rho(\\mathbf\{x\})^\{-1\}-Z(\\mathbf\{x\})\\right|\\right)δ=0.2x∈ΩZmax(∣∣ρ(x)−1−Z(x)∣∣)

### Unsupervised loss. ###

L θ U = ∑ x ∈ Ω U , l ∣ ( G σ ∗ I l ) ( x ) − ( G σ ∗ I r ) ( ω ( x , ρ l , θ ( x ) ) ) ∣ + ∑ x ∈ Ω U , r ∣ ( G σ ∗ I r ) ( x ) − ( G σ ∗ I l ) ( ω ( x , − ρ r , θ ( x ) ) ) ∣

LθU=∑x∈ΩU,l∣(Gσ∗Il)(x)−(Gσ∗Ir)(ω(x,ρl,θ(x)))∣+∑x∈ΩU,r∣(Gσ∗Ir)(x)−(Gσ∗Il)(ω(x,−ρr,θ(x)))∣

G σ \\mathrm\{G\}\_\{\\sigma\}Gσ是高斯核，模糊是为了去噪，使用σ = 1 p x \\sigma=1 \\mathrm\{px\}σ=1px

### Regularization loss. ###

L θ R = ∑ i ∈ \{ l , r \} ∑ x ∈ Ω ∣ ϕ ( ∇ I i ( x ) ) ⊤ ∇ ρ i ( x ) ∣ L\_\{\\boldsymbol\{\\theta\}\}^\{R\}=\\sum\_\{i \\in\\\{l, r\\\}\} \\sum\_\{\\mathbf\{x\} \\in \\Omega\}\\left|\\phi\\left(\\nabla I\_\{i\}(\\mathbf\{x\})\\right)^\{\\top\} \\nabla \\rho\_\{i\}(\\mathbf\{x\})\\right|LθR=i∈\{l,r\}∑x∈Ω∑∣∣∣ϕ(∇Ii(x))⊤∇ρi(x)∣∣∣

ϕ ( g ) = ( exp ⁡ ( − η ∣ g x ∣ ) , exp ⁡ ( − η ∣ g y ∣ ) ) ⊤ \\phi(\\mathbf\{g\})=\\left(\\exp \\left(-\\eta\\left|g\_\{x\}\\right|\\right), \\exp \\left(-\\eta\\left|g\_\{y\}\\right|\\right)\\right)^\{\\top\}ϕ(g)=(exp(−η∣gx∣),exp(−η∣gy∣))⊤

η = 1 255 \\eta=\\frac\{1\}\{255\}η=2551  
防止预测梯度太大作用，个人理解：当预测梯度∇ ρ i ( x ) \\nabla \\rho\_\{i\}(\\mathbf\{x\})∇ρi(x)很大时，而真实梯度很小，导致ϕ ( ∇ I i ( x ) ) ⊤ \\phi\\left(\\nabla I\_\{i\}(\\mathbf\{x\})\\right)^\{\\top\}ϕ(∇Ii(x))⊤很大，所以L θ R L\_\{\\boldsymbol\{\\theta\}\}^\{R\}LθR就很大。保持梯度一致性的意思。。。

### 总损失 ###

![在这里插入图片描述][20200624231100759.png]  
L θ ( I l , I r , Z l , Z r ) = λ t L θ S ( I l , I r , Z l , Z r ) + γ L θ U ( I l , I r ) + L θ R ( I l , I r )

Lθ(Il,Ir,Zl,Zr)=λtLSθ(Il,Ir,Zl,Zr)+γLUθ(Il,Ir)+LRθ(Il,Ir)Lθ(Il,Ir,Zl,Zr)=λtLθS(Il,Ir,Zl,Zr)+γLθU(Il,Ir)+LθR(Il,Ir)

Lθ(Il,Ir,Zl,Zr)=λtLθS(Il,Ir,Zl,Zr)+γLθU(Il,Ir)+LθR(Il,Ir)  
λ t \\lambda\_\{t\}λt 和γ \\gammaγ是权衡参数

## 网络结构 ##

用的残差网络Flownet  
![在这里插入图片描述][20200624231911676.png]  
2种残差块：  
![在这里插入图片描述][2020062423223550.png]

上投影残差块：  
![在这里插入图片描述][20200624232310438.png]

具体网络结构：  
![在这里插入图片描述][20200624232337145.png]

# 四、实验结果 #

![在这里插入图片描述][20200624232453553.png]

![在这里插入图片描述][20200624232749443.png]  
9就是[系列2][Link 2]左右约束方法，然后看到本文方法可以结合真实深度预测得到比较精准结果，同时对于真实深度没有扫描的地方，通过CNN进行学习。

# 五、结论与思考 #

## 作者结论 ##

## 总结 ##

本文在有深度标签数据下是个结合CNN的方法，但是大多数情况是没有深度。要是以后有深度相机集成到手机上，这个方法不失为增强方法。

## 思考 ##

# 参考 #

[https://blog.csdn.net/qq\_29598161/article/details/106951390][https_blog.csdn.net_qq_29598161_article_details_106951390]

[Link 1]: https://blog.csdn.net/qq_29598161/article/details/106504333
[Link 2]: https://blog.csdn.net/qq_29598161/article/details/106931733
[20200624231010627.png]: /images/20221122/853e5093c5b748ecaadb673327a2084b.png
[20200624231100759.png]: /images/20221122/41ab056ac56140aea822a7ac245f7276.png
[20200624231911676.png]: /images/20221122/b6d6054261ed40f0a9aa69658346010d.png
[2020062423223550.png]: /images/20221122/e9663e49d20147049dd4e59efe00eb0f.png
[20200624232310438.png]: /images/20221122/fe71331ae2a14a7cb4e8a653d23b5124.png
[20200624232337145.png]: /images/20221122/a81445af681f4ed1ba23ffecab54f4b8.png
[20200624232453553.png]: /images/20221122/d1f1bf0bb82448ceb78164d0bc8c8b87.png
[20200624232749443.png]: /images/20221122/17a851911e9d423a92aea3e89727eca1.png
[https_blog.csdn.net_qq_29598161_article_details_106951390]: https://blog.csdn.net/qq_29598161/article/details/106951390