2020 去噪技术发展趋势

左手的ㄟ右手 2022-11-29 00:59 240阅读 0赞

**   ** **2020 去噪技术发展趋势**

去噪任务在合成数据集上，现有的基于深度学习的去噪模型取得了令人印象深刻的效果，但与传统方法相比，它们对真实相机数据的泛化效果较差。最近去噪方面比较热门的两个词就是RAW和GAN了。想了解去噪发展趋势，可以先看看如下几个问题。

1  噪声是什么？

噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般，噪声信号与要研究的对象不相关，它以无用的信息形式出现，扰乱图像的可观测信息。通俗的说就是噪声让图像不清楚。

2  噪声来源：图像获取过程和图像信号传输过程中；

3  图像成像原理是什么？

光信号\->电信号\->数值信号：简述：光信号通过镜头，在传感器（**CMOS**/ **CCD**）转成电信号,**并放大**，电信号通过A/D（模数转换器analog-to-digltal converer）转换，生成数字信号，数字信号通过模拟**放大**输出（也就是调节的ISO），便得到最原始的raw数据raw数据通过ISP(图像处理芯片)，生产Yuv图像。

4  传感器是什么？

其中**CMOS**传感器如图1，由多个感光元件组成，见图2，每一个感光元件示例见图3，包含微透镜，滤光片，光电二极管等，其中微透镜实现够减少边缘光的损失，实现聚光的功能，通过滤光片可以得到不同颜色，光电二极管则负责将光信号转为电信号。

![20200818205656836.png][]    ![20200818205711351.png][]     ![20200818205715462.png][]

图1  **CMOS**传感器              图2 多个感光元件排列组合            图3 单个感光元件

5  传感器噪声

光信号经过感光元件的光电二极管，数模转换器后得到的数值信号，通过模拟放大输出也就是Raw数据，是一个二维单通道图像，如图4，上面每一个数值代表着对应的光照强度。此时Raw图里面含有的噪声称之为传感器噪声。

![20200818205926668.png][]

图4 RAW数据图像示意

传感器噪声主要包含shot noise 和 Read noise，

shot noise（散粒噪声）是指信号本身引入的噪声，均值为像素的灰度值，分布服从泊松分布，Shot noise存在的根本原因是因为光是由离散的光子构成（光的粒子性），光源发出的光子打在感光元件上，从而形成一个可见的光点。光源每秒发射的光子到达感光元件的越多，则该像素的灰度值越大。但是因为光源发射和CMOS接收之间都有可能存在一些因素导致单个光子并没有被CMOS接收到或者某一时间段内发射的光子特别多，所以这就导致了灰度值会有波动，也就是所谓的散粒噪声。

Read noise是指图像信号在读出电路上引入的噪声。read noise是跟信号的大小无关的。也就是说，即使当前的信号为零，也会有read noise。与信号无关，均值为0，分布符合高斯分布。

因此最终噪声模型y ~N(u = x,delta^2 = read + shot \*x)

其中x为信号即像素的灰度值，均值为x，方差为read + shot\*x。

每一个像素点对应的噪声服从这个分布。

read噪声与数值信号增益有关，shot噪声与模拟信号增益有关，其中数值信号增益和模拟信号增益在相机中都是ISO的函数，因此存在一定的相关性。

6  sRGB 噪声

RAW图像的噪声我们可以简单地采用泊松分布和高斯分布来建模，但是当要建模sRGB的噪声模型时候，就比较困难，因为sRGB图像中存在的真实噪音是经过常规图像信号处理(ISP)管道中执行的一系列非线性处理操作。因此，与原始传感器数据相比，在sRGB中建模真实的摄像机噪声是一项固有的困难任务。例如，原始传感器空间的噪声是依赖于信号的;去马赛克后，它在空间上和颜色上是相关的;经过管道的其余部分后，它的概率分布不一定是高斯分布。

![20200818210154566.png][]

7  传统去噪方法：

Non-local Means+DCT： BM3D 大法好，当然还有很多基于类似思路的优秀传统算法；

8  深度学习方法去噪：

8.1 采用相同设备拍摄同一场景，采用高低iso拍摄两次，构建数据对；

8.2 模拟噪声，主要是模拟高斯噪声，然后添加在无噪声图像上；

8.3 基于RAW数据进行去噪（RAW数据的噪声建模更加容易）例如：CycleISP

8.4 真实噪声数据+GAN：Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive  Instance Normalization（CVPR2020）

8.5 如何平衡噪声去除和纹理保持的效果，都是图像去噪不断追求的目标。因此网络结构，动态卷积核，注意力，多尺度等trick会用到去噪任务上。

推荐：Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive  Instance Normalization（CVPR2020）

[20200818205656836.png]: https://img-blog.csdnimg.cn/20200818205656836.png
[20200818205711351.png]: https://img-blog.csdnimg.cn/20200818205711351.png
[20200818205715462.png]: /images/20221124/c2781170bce84fac85627453ac0aaa38.png
[20200818205926668.png]: /images/20221124/909d96a4ec094057b7ab47ba39011046.png
[20200818210154566.png]: /images/20221124/63144b99a4ed450da958c095e36106a4.png