Deep Parametric Indoor Light Estimation ICCV 2019论文详解

落日映苍穹つ 2022-08-29 09:41 150阅读 0赞

论文地址：[\[1910.08812\] Deep Parametric Indoor Lighting Estimation (arxiv.org)][1910.08812_ Deep Parametric Indoor Lighting Estimation _arxiv.org]

项目地址：[Deep Parametric Indoor Lighting Estimation (lvsn.github.io)][Deep Parametric Indoor Lighting Estimation _lvsn.github.io]

数据集：[The Laval Indoor HDR Database (hdrdb.com)][The Laval Indoor HDR Database _hdrdb.com]

Laval University发表在ICCV2019上。想直接拿来用的话，可以放弃了。作者这个数据集上千张只开源了几百张，模型代码没开源。不过论文思想很值得借鉴。

**目录**

网络输入与输出

光场表示：

为什么不用HDR格式的光场，要用参数化的光场？

HDR光场和参数化光场的联系

如何得到参数化的光场？数据集如何标注？

模型结构

数据集如何制作？

模型结构

训练

效果

评价

--------------------

目的：进行光场估计。 这里说的光场估计，是根据单张图片估计出光场，并不表示渲染。渲染依然是采用传统的方法进行渲染。

本文希望通过单张图片重建光场。

重建效果，左边是不进行光场重建的渲染效果，右图是进行了光场估计，然后根据光场估计渲染的效果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

## 网络输入与输出 ##

输入：一张LDR图像，场景中的LDR图像

输出：该场景中参数化的光照参数。光源的位置，颜色，大小，角度。

## 光场表示： ##

本文所言，有两种光场表示方式

一是光场的位置，强度，颜色

二是HDR格式的光场，即全景广场。

## 为什么不用HDR格式的光场，要用参数化的光场？ ##

如果渲染过程中，每个场景都在周围采集一个HDR格式的全景光场，是不现实的。

室外场景中，光源位置比较远。但是室内场景中，光源的位置与物体比较近，同一个光源可能会对很多物体都产生作用，对于室内场景还需要标注HDR的景深，才能较好渲染效果。

综合上面两点，还是参数化的光场好。

## HDR光场和参数化光场的联系 ##

如下图，左边是HDR光场，右边是参数化光场转化为HDR图之后的光场，用这两个渲染出来的是非常接近的。所以粗略的参数化光场的渲染效果也不会差，不会比HDR全景光场差多少。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

## 如何得到参数化的光场？数据集如何标注？ ##

如果直接用模型预测出参数化光场，这个可能会不收敛。因为HDR光场和参数化光场之间存在gap。所以作者除了预测出参数化光场之后，还会用参数化光场转化为HDR光场，这样还能算Loss，就容易收敛了。

## 模型结构 ##

输入图像I，预测各个光源的参数p，共有N个光源，这个N是作者自己选的。比如可以选N=3，就是用3个参数化的光场模拟光源位置。除了p个光源之外，还有个环境整体的颜色a也需要预测，可以看作周围环境的漫反射。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

每个光源p的参数有四个。

l是光源的location，x，y，z坐标

d是光源的距离

s是光源的角度，朝着多少个方向的角度。

c是光源的颜色。

得到了光源的这些参数，就可以运用光源模拟环境广场。

## 数据集如何制作？ ##

网络输入，是环境图片，那这里就可以直接运用渲染器进行渲染。

作者这里用的是自制的optix渲染器，运用GPU进行渲染。（作者跟mitsuba渲染器进行了对比，宣称自己比mitsuba比要快，但是作者用自己的GPU运行速度跟mitsuba的CPU渲染速度相比，那当然快了）。

环境广场的HDR是采集的，采集了之后因为是室内场景，所以需要标注景深。

相当于，有监督信息就是HDR+带有景深的图像。输入是根据该图像渲染出来的光场。

有一个数据集Matterport 3D数据集，但是这个数据集的最上面30度是缺失的，即没有天花板，全景的纵向需要180度.

SUNCG数据集，这个数据集其中的有些材料不真实，无法使用。

作者使用Laval Indoor HDR数据集。包含2100张HDR图像，作者通过EnvyDepth对此数据集进行了深度标注。

## 模型结构 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

简单的DenseNet,将输入图片提取为特征，然后通过fc一个一个把图片的参数预测出来。

## 训练 ##

需要将参数化的光源通过公式转化为HDR的光源形式，这样两者可以同样的结构可以算loss

![20210802102049507.png][]

loss即光源和总体的差值：

![20210802102049804.png][]

## 效果 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4][]

左边为输入图像，右边是HDR光场和预测的光源。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5][]

## 评价 ##

神经网络学习光源位置和大小，需要做一个数据集。但是数据集不公开也不提供预训练模型，性能及效果到底如何并不知道。

[1910.08812_ Deep Parametric Indoor Lighting Estimation _arxiv.org]: https://arxiv.org/abs/1910.08812
[Deep Parametric Indoor Lighting Estimation _lvsn.github.io]: https://lvsn.github.io/deepparametric/
[The Laval Indoor HDR Database _hdrdb.com]: http://indoor.hdrdb.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20220829/c148f857d9af4fa9ad339dbb791212ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20220829/7d07ef4f7c254483a7ee885127135278.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20220829/84b9e387e1f9457a9556a3af4154ea63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20220829/8309167afa7d43f0a5a2a575807626c9.png
[20210802102049507.png]: /images/20220829/a940a6aaf00243079510c31086924e3f.png
[20210802102049804.png]: /images/20220829/3aff380ee7534e4685b14037e678d04f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4]: /images/20220829/3e7e7c5648e143c98f09534a3beddb0a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5]: /images/20220829/fa8ab9ed0c3c45e39cbfe303e6ac6087.png