CVPR论文 | 如何处理多种退化类型的卷积超分辨率？ ...

逃离我推掉我的手 2022-02-14 19:21 239阅读 0赞

![image][]

〔小叽导读〕：近年来，深度卷积神经网络（CNN）方法在单幅图像超分辨率（SISR）领域取得了非常大的进展。然而现有基于CNN的SISR方法主要假设低分辨率（LR）图像由高分辨率（HR）图像经过双三次(bicubic)降采样得到，因此当真实图像的退化过程不遵循该假设时，其超分辨结果会非常差。此外，现有的方法不能扩展到用单一模型解决多种不同的图像退化类型。

为此，提出了一种维度拉伸策略使得单个卷积超分辨率网络能够将SISR退化过程的两个关键因素（即模糊核和噪声水平）作为网络输入。归因于此，训练得到超分辨网络模型可以处理多个甚至是退化空间不均匀的退化类型。实验结果表明提出的卷积超分辨率网络可以快速、有效地处理多种图像退化类型，为SISR实际应用提供了一种高效、可扩展的解决方案。

**1．引言**

单幅图像超分辨率（SISR）的目的是根据单幅低分辨（LR）图像输入得到清晰的高分辨率（HR）图像。一般来说，LR图像y是清晰HR图像x由下面的退化过程得来：![image][image 1]。

其中![image][image 2]表示HR清晰图像x与模糊核k之间的卷积，![image][image 3]表示系数为s的降采样算子，n表示标准差（噪声水平）为的加性高斯白噪声（AWGN）。

SISR方法主要分为三类：基于插值的方法、基于模型的方法以及基于判别学习的方法。

基于插值的方法（例如：最近邻插值、双三次插值）虽然速度快，但是其效果比较差。基于模型的方法通过引入图像先验，例如：非局部相似性先验、去噪先验等，然后求解目标函数得到视觉质量较好的HR图像，然而速度较慢。虽然结合基于CNN的去噪先验可以在某种程度上提升速度，但仍然受限于一些弊端，例如：无法进行端对端的训练，包含一些比较难调的参数等。

基于判别学习的方法尤其是基于CNN的方法因其速度快、可以端对端的学习因而效果好等在近几年受到了广泛关注，并且逐渐成为解决SISR的主流方法。

自从首个用CNN解决SISR的工作SRCNN在ECCV（2014）发表以来，各种不同的改进方法相继提出。例如，VDSR在PSNR指标上取得了非常大的提升；ESPCN和FSRCNN分别在速度上进行了改进；SRGAN在放大倍数较大情况下针对视觉效果的改善提出了有效的方法。

然而这些方法都存在一个共同缺点，也就是它们只考虑双三次(bicubic)降采样退化模型并且不能灵活地将其模型扩展到同时（非盲）处理其它退化类型。由于真实图像的退化过程多种多样，因而此类方法的有效实际应用场景非常有限。

一些SISR工作已经指出图像退化过程中的模糊核的准确性对SISR起着至关重要的作用，然而并没有基于CNN的相关工作将模糊核等因素考虑在内。为此引出本文主要解决的问题：是否可以设计一个非盲超分辨率（non-blind SISR）模型用以解决不同的图像退化类型？

**2．方法**

本文首先分析了在最大后验（MAP）框架下的SISR方法，借此希望可以指导CNN网络结构的设计。由于SISR问题的不适定性，通常需要引入正则项来约束解空间。具体来说，LR图像y对应的HR图像x可以通过求解下述问题近似：![image][image 4]。

其中![image][image 5]为似然（也即数据保真）项，![image][image 6]为先验（也即正则）项，![image][image 7]为似然项和先验项之间的权衡参数。

简单来说，上述公式包含两点：

估计得到的HR图像不仅要符合SISR的退化过程，并且还要满足清晰图像所具有的先验特征；

对于非盲超分辨率问题，x的求解与LR图像y、模糊核k、噪声水平![image][image 8]以及权衡参数![image][image 7]有关。

简而言之，非盲SISR的MAP估计可以表示为![image][image 9]，其中![image][image 10]为MAP估计中的参数。进而如果将CNN看作MAP估计另一种形式的解，那么有如下结论：

由于数据保真项对应着SISR的退化过程，因此退化过程的准确建模对SISR的结果起着至关重要的作用。然而现有的基于CNN的方法其目标是求解下面的问题：![image][image 11]。由于没有将模糊核和噪声等因素考虑在内，因此其实用性非常有限。

为了设计更加有效的基于CNN的SISR模型，应该将更多的图像退化类型考虑在内，一个简单的思路就是将模糊核k和噪声水平![image][image 8]也作为网络的输入。由于权衡参数![image][image 7]可以融入噪声水平![image][image 8]之中，因此CNN映射函数可以简化成如下形式：![image][image 12]

由于MAP估计中大部分的参数都对应着图像先验部分，而图像先验是与图像退化过程不相关的，因此单一的CNN模型具有处理不同退化类型的建模能力。

通过上述分析可以得出非盲SISR应该将退化模型中的模糊核和噪声水平也作为网络的输入。然而LR图像、模糊核和噪声水平三者的维度是不同的，因此不能直接作为CNN的输入。

为此本文提出了一种维度拉伸策略。假设LR图像大小为![image][image 13]，首先将向量化的模糊核PCA降维，然后和噪声水平并在一起得到一个t+1维的向量v，接着将v拉伸为![image][image 14]维的张量，我们将此张量称之为退化图（Degradation Maps），其中第i个图![image][image 15]的所有元素均为。

![image][image 16]

图1：维度拉伸示意图

至此，我们可以将退化图和LR图像合并在一起作为CNN的输入。为了证明此策略的有效性，选取了快速有效的ESPCN超分辨网络结构框架。值得注意的是为了加速训练过程的收敛速度，同时考虑到LR图像中包含高斯噪声，因此网络中加入了Batch Normalization层。

图2给出了提出的超分辨率网络（简称SRMD）结构框架。

![image][image 17]

图2：提出的超分辨率网络结构框架（卷积层数为12，每层通道数为128）。

**3．实验**

在训练阶段，SRMD采用了各向同性和各向异性的高斯模糊核、噪声水平在\[0, 75\]之间的高斯白噪声以及 bicubic降采样算子。需要指出的是SRMD可以扩展到其它降采样算子，甚至其它退化模型。

在测试阶段，SRMD比较了不同方法在同为bicubic降采样退化下的PSNR和SSIM结果（如表1所示）。可以看出虽然SRMD是用来处理各种不同的退化类型，但是仍然在bicubic降采样退化下取得不错的效果。需要指出的是SRMD在速度上也有很大的优势，在Titan Xp GPU上处理512×512的LR图像仅需0.084秒，是VDSR超分辨率两倍所用时间的一半。

表2给出了不同退化类型下的PSNR和SSIM结果比较，可以看到SRMD同样取得了不错的效果。图4举例说明了SRMD可以设定非均匀退化图，进而可以处理退化空间不均匀的LR图像。最后，图5展示了不同方法在真实图像上的视觉效果比较，可以看到SRMD复原的HR图像在视觉效果上明显优于其它方法。

![image][image 18]

表1：不同方法在bicubic降采样退化下的PSNR和SSIM结果比较（其中SRMDNF表示不考虑噪声情况下训练得到的模型）。

![image][image 19]

图3：不同方法在bicubic降采样退化下超分辨率四倍的视觉效果比较。

![image][image 20]

表2：不同方法在不同退化类型下的PSNR和SSIM结果比较。

![image][image 21]

图4：举例说明SRMD可以处理退化空间不均匀的情形。（a）噪声水平以及模糊核宽度的空间分布；（b）LR图像（最近邻插值放大）；（c）复原得到的HR图像（放大两倍）。

![image][image 22]

图5：不同方法在SISR经典测试图像“Chip”上超分辨率四倍的视觉效果比较。

**4．结论**

最后总结一下，本文的主要贡献有三个方面：

提出了一种简单、有效、可扩展的超分辨率模型，其不仅可以处理bicubic降采样退化模型，并且可以处理多个甚至是退化空间不均匀的退化类型，为SISR实际应用提供了一种解决方案。

提出了一种简单有效的维度拉伸策略使得卷积神经网络可以处理维度不同的输入，此策略可以扩展到其他应用。

通过实验展示了用合成图像训练得到的超分辨网络模型可以有效的处理真实图像复杂的退化类型。

原文发布时间为：2018-07-24  
本文作者： 张凯  
本文来自云栖社区合作伙伴“[ 阿里巴巴机器智能][Link 1]”，了解相关信息可以关注“ [阿里巴巴机器智能][Link 1]”。

[image]: /images/20220214/c4ce225450b34e77b201fb45c76fb57a.png
[image 1]: /images/20220214/b1c362e05e0a47089e139e64604f975a.png
[image 2]: https://yqfile.alicdn.com/f89dc4e0400659650ef93a4b7fe1b60ccb24a0ac.png
[image 3]: /images/20220214/38c8ab35abe2449298df83279042ab5e.png
[image 4]: /images/20220214/0379ea84f25647a6bf64fa3f36a69b52.png
[image 5]: https://yqfile.alicdn.com/b1e6ccfb73695ff5a16b6b6b5b2fc9264acda7fa.png
[image 6]: https://yqfile.alicdn.com/c8bda5f5740d47fc842c2fc2d0611b98a3b166cc.png
[image 7]: /images/20220214/c37d53283a774ee6bdf12309c436bef5.png
[image 8]: https://yqfile.alicdn.com/42d5ea0f6edeffc96f72fa1d4abe42f4effc2950.png
[image 9]: https://yqfile.alicdn.com/00ad20fde116b6a1f1b95435a3babb9f08ccfeee.png
[image 10]: /images/20220214/feabd4f8417c48fb9793549550aba44f.png
[image 11]: /images/20220214/c325aae887004fe0a1b43292b5ea939c.png
[image 12]: /images/20220214/12bd08da8c5a42eabd1012228d3f2030.png
[image 13]: https://yqfile.alicdn.com/079f56e61402a3b443da8f78fcc7ad0c2bbe72c2.png
[image 14]: https://yqfile.alicdn.com/a50770fe653282f32ccbc1cdb782f97aa1171613.png
[image 15]: /images/20220214/8be8fec1f6d0494e902d434c703a1adb.png
[image 16]: /images/20220214/292b2313eeab4f6b93c0293e67fef767.png
[image 17]: /images/20220214/dde31b0165d84a01b4dea6d325ca0305.png
[image 18]: /images/20220214/00c00c550ba84149b15d1ba5454a82f4.png
[image 19]: /images/20220214/d8abd382c2ca4f44b4ae8edfb8478be8.png
[image 20]: /images/20220214/3bf885784997426a8dfb3e23c21e71ef.png
[image 21]: /images/20220214/d4ac6feb8c2f4fcaafc4048320490dd5.png
[image 22]: /images/20220214/d461ceb9ed6c4d4a94e7804b932bbc82.png
[Link 1]: https://mp.weixin.qq.com/s/iXofpaw-iBwQsW2QB_vWyA