Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement论文笔记[低照度]

红太狼 2023-01-11 03:39 107阅读 0赞

##### 论文题目：Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement #####

##### 作者：Chunle Guo， Chongyi Li ，Jichang Guo，Chen Change Loy，Junhui Hou，Sam Kwong，Runmin Cong4 #####

##### 发表会议：CVPR2020 #####

##### 1、概要 #####

本文为实现低照图图像增强提出了Zero-Reference Deep Curve Estimation（Zero-DCE），零参考深度估计曲线，将光增强表示为使用深度神经网络估计特定曲线的任务。  
本文提出的方法是零参考，**重点需要掌握作者在本文中提出的三个损失函数，感觉是比较有创新性的**。

##### 2、背景 #####

作者指出所学习的曲线是可微的因此可以通过深度学习来学习可调参数拟合曲线。并且此方法是零参考不同于现有CNN方法那样需要成对或者不成对的数据。  
本文方法不同于传统的物理模型方法（即通过求解一个优化问题来估计照度图），本文估计一个特定的曲线，另该方法是纯数据驱动的方法，在设计损失函数时考虑了多个光强因子，因此具有更好的鲁棒性，更宽的像素范围和更低的计算负担。

##### 3、方法 #####

Zero-DCE整体网络结构：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]

##### 3.1 LE-curve #####

受照片编辑软件中使用的曲线调整的启发，我们试图设计一种能够自动将微光图像映射到其增强版本的曲线，其中自适应曲线参数仅取决于输入图像。  
![在这里插入图片描述][20210125210311114.png]  
LE（.）代表增强后的I(X)输入图像，α代表的是可训练的曲线参数，在训练过程中所有像素都归一化到\[0,1\]，所有操作都是逐像素进行的。我们将曲线应用于三个RGB通道，而不是仅应用于照明通道。三通道调节可以更好地保留固有颜色，并降低过度饱和的风险。  
作者提出上述公式可以反复应用，以实现更通用的调整，应对具有挑战性的弱光条件。  
![在这里插入图片描述][20210125210918100.png]  
上述两个公式都是全局调整，全局映射往往会过度/不足地增强局部区域。为了解决这个问题，我们将α表示为像素参数，即给定输入图像的每个像素都有一条相应的曲线，该曲线具有最佳拟合α以调整其动态范围：**在本文中n取8框架迭代应用curve**  
![在这里插入图片描述][20210125211042115.png]  
其中A是参数图![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]  
三个通道的估计曲线参数图的一个例子。如图所示，不同通道的最佳拟合参数图具有相似的调整趋势不同的值，指示了光图像的通道之间的相关性和差异。曲线参数精确地表示不同区域的正确程度(例如，墙上的两个闪光)。有了合适的映射，增强的版本图像可以直接显示为像素级的曲线映射。如图3(e)所示，增强版显示了暗区域的内容，保留了亮区域。

##### 3.2 DCE-Net #####

To learn the mapping between an input image and its best-fitting curve **parameter maps,** we propose a Deep Curve Estimation Network(DCE-Net).

##### 3.3 损失函数 #####

空间一致性损失：  
![在这里插入图片描述][20210125212113250.png]  
Y是增强图片，I是原图，Ω代表上下左右四个方向  
曝光控制损失：  
![在这里插入图片描述][20210125212145276.png]  
Y是区域平均光照强度，E是预设值\[0,4,0.7\]本文设定0.6  
颜色恒常损失：  
![在这里插入图片描述][20210125212536632.png]  
平衡RGB三个通道的偏差  
光照平滑损失，在代码中后两个损失一起实现了：  
![在这里插入图片描述][20210125212953379.png]  
消融实验对比每种损失函数的作用：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 2]

##### 4、结果 #####

采用PSNR,SSIM,平均绝对误差（MAE）指标来定量比较本文方法  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 3]

##### 5、讨论 #####

本文提出的轻量级网络对低照图图像的恢复效果不错，并且不需要成对的训练数据。另作者指出使用该方法增强后的图片在黑暗环境中的人脸检测也具有很好的提升，在将来的工作中可能会引入语义信息和考虑噪声的影响。  
语义信息：

> 图像的语义分为视觉层、对象层和概念层。
> 
> 视觉层即通常所理解的底层，即颜色、纹理和形状等等，这些特征都被称为底层特征语义；  
> 对象层即中间层，通常包含了属性特征等，就是某一对象在某一时刻的状态； 概念层是高层，是图像表达出的最接近人类理解的东西。
> 
> 通俗点说，比如一张图上有沙子，蓝天，海水等，视觉层是一块块的区分，对象层是沙子、蓝天和海水这些，概念层就是海滩，这是这张图表现出的语义。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70]: /images/20221119/631821fa1aed4346bc9b804b143d017c.png
[20210125210311114.png]: /images/20221119/69d0234fd70444dfb20d718fc6809491.png
[20210125210918100.png]: https://img-blog.csdnimg.cn/20210125210918100.png
[20210125211042115.png]: https://img-blog.csdnimg.cn/20210125211042115.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210125211414346.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ==,size_16,color_FFFFFF,t_70
[20210125212113250.png]: https://img-blog.csdnimg.cn/20210125212113250.png
[20210125212145276.png]: https://img-blog.csdnimg.cn/20210125212145276.png
[20210125212536632.png]: https://img-blog.csdnimg.cn/20210125212536632.png
[20210125212953379.png]: https://img-blog.csdnimg.cn/20210125212953379.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210125213032495.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210125213232457.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgxMjYwOQ==,size_16,color_FFFFFF,t_70