简介
图像中的噪声是一些原始场景并未携带的内容，图像领域很多时候用瑕疵（artifacts）来表达其影响。通常来说，噪声是由随机过程造成的测量的统计偏差。在图像领域，噪声表现为图像中的瑕疵，看上去就像是覆盖在图像上的颗粒物。在一副图像内，噪声有不同的形式表现，降低图像质量。
上面两张对比图直观地展示了噪声对图像质量的影响
噪声带来的问题
噪声是传输信号伴生的不规则信号扰动（fluctuations）的副产物。这里需要搞清楚的重要的点是，这些扰动并不是信号的一部分，它们会让想要获得的目标变模糊。因此在图像领域，一个最艰巨的任务是创造出强信号同时将伴随信号的噪声做到最小。不幸的是，在图像领域要找到一个解决方案通常被证明是极具挑战的事，特别是在低光照环境下，信号本身就已经很弱了。当处理图像噪声时，第一步是去识别所遇到的噪声类型。
噪声类型
在数字图像中会遇到不同类型的噪声。坏消息是不同标准和出版物的相关术语和定义略有不同，在一些场合中很难做到统一。本文会尽力覆盖最广泛使用的定义和解决方案。
时间噪声（也叫随机噪声，暂态噪声）
大多数情况我们会看到Temporal noise写法，也会看到random noise这种写法，两者基本意思一致。时间噪声几乎总是完全随机的，它产生于每个单独像素的值的产生过程，这个值通过转换其入射光子到电子并进行测量转换来获取。另外，在曝光时间内撞击到单像素的光子数量是变化的。这个过程是我们熟知的光子散粒噪声（photon shot noise）。
如果我们观察对同一场景多次拍摄的图像中的相同位置的像素，我们会看到这个像素在不同图像中会不断变动（参考下图）。尽管图像的场景没有变化，我们仍然能够从这个像素中看到数值的变化。
随机噪声示意图
空间噪声（模式噪声 pattern noise，非均匀噪声non-uniformity noise）
单独像素内的变化会噪声空间噪声，这种噪声不是随机的。通常会用非均匀性”non-uniformities”来表示，主要是由于噪声这个词本身暗含着随机过程。EMVA 1288标准使用术语”non-uniformity”,ISO 15739标准使用”fixed pattern noise”（固定模式噪声）。
sensor上相邻的像素点即便是在目标物体完全相同的情况下，所得到的数值也会略有不同。这里需要注意一点，像素间的差异也会由时间噪声导致。不同形式的空间噪声只有在将时间噪声降低到最小程度后才可以被观察。这个过程通常通过上百副图像来做平均，以此将时间噪声最小化。
多幅图像平均可以降低噪声
有一种形式的空间噪声，叫做像素响应非均匀性（Pixel Response Non-Uniformity， PRNU），表示每个像素灵明度的细微差异。暗信号非均匀性（Dark Signal Non-Uniformity，DSNU）是另一种像素间信号细微差异，是在没有光照情况下产生的信号。
色彩噪声和强度噪声
在前一小节中，我们只分析了单色sensor的单个像素及其相邻像素的行为。这些sensor只会表现出强度差异形式的噪声。彩色sensor则会同时具有强度噪声（Intensity noise）以及色彩噪声（Color noise）。
色彩噪声在颜色信息的生成过程中出现并被放大。从本质上讲，几乎所有的现代sensor中一个单独的像素只会抓取出光谱的特定频带的颜色信息（红，绿，蓝）。
色彩噪声和一个称为去马赛克（demosaicing）的过程相关。每个像素丢失的颜色信息通过邻近像素的值来进行插值得到。这样做的结果就是，单个像素的噪声会影响到邻近像素的颜色信息生成。在插值过程中，这些像素内的噪声会被抹掉。
关于去马赛克的描述，请参考
Camera和Image sensor技术基础笔记(3) — 色彩空间，CFA，bayer数据处理_亦枫Leonlew的博客-CSDN博客色彩空间颜色通常用三个独立属性描述，这三个变量类比于三维空间坐标，直观上会形成一个空间上的区域，这块立体的区域就是色彩空间(color space)。不同的色彩空间，是这个坐标系的三个轴的用来衡量颜色的标准不同所产生的。色彩空间的基本结构主要有两大类：基本颜色空间（RGB）以及色度、亮度分离颜色空间（YUV,HSV）。通常ISP芯片都带有CSC（color space conversion）功能，用来转换不同的颜色空间。RGB色彩空间 通常显示器使用RGB色彩空间，…https://blog.csdn.net/vivo01/article/details/123653132?spm=1001.2014.3001.5502 ; 图像处理中典型的色彩噪声场景是蓝色通道有强噪声，绿色和红色通道噪声较低。蓝色通道的强噪声由于去马赛克过程会影响其它两个通道。不过有个重要的点需要注意，人眼对于强度噪声的敏感程度要比色彩噪声高得多，不过强烈的色彩噪声仍然对整体图像质量造成干扰。
噪声源
图像的噪声源有很多，为了简单起见，可分为两种主要的噪声源：光子散粒噪声Photon-Shot noise，以及读取噪声Read noise。
光子散粒噪声Photon-Shot noise
光子散粒噪声（光子噪声）是光本身的噪声。如果我们将光线想象成光子的流动的话，我们会看到这种流在时间上并非是完美的稳定状态。为便于理解，想象有个容器，它在一个微小的表面上收集雨水。如果是暴雨，那么我们能很精确地提供一个表示单位时间间隔内的这个表面所收集的雨水的平均水量。但是在细雨的情况下，单位时间间隔内可能只会收集到几滴雨水，每次去查看水量，得到的结果变动都会比较大。用这个类比的例子来理解光子散粒噪声是类似的。简单来说就是光子越多，信噪比越好，反之亦然。
有效信号越多，SNR越好
读出噪声Read noise
读出噪声是对sensor的读取过程中多种类型的噪声源的概括，其主要来源是电路的固有因素，比如电子热运动等，这些因素造成了ADC转换时的误差。
改善噪声的手段
完美的相机（没有读出噪声和量化噪声）也不会完全没有噪声，仍然存在光子散粒噪声。有一个点始终要记得，每次曝光中每个像素所测量的光子数越少，SNR就越差。
为了在sensor这个层次改善噪声，需要降低读出噪声并且增加每次曝光中每个像素的光子数量。更大的像素会收集更多光子，更长的曝光时间会捕获更多光子。最大曝光时间要根据具体应用场景而定，因为曝光时间变长也会引入运动模糊等问题。因此用于改善噪声的选择比较受限，但在许多场景中，信号处理会降低信号噪声，这个过程会使用图像增强和降噪算法。
如何测量噪声
ISO 15739 SNR
ISO 15739标准描述了一个用来测量和报告相机SNR的方法。这个方法使用一个基于ISO 14524的测试对象，被测相机在可控条件下去重现这个测试对象。以下是测试对象的例子：
TE269测试图卡，用于测量噪声
TE270X测试图卡，用于测量噪声
对于测试图卡的每个小块（patch）都会计算SNR，并且提供一个SNR和亮度的函数。
-
从OECF中提取出L_ref
-
计算L_SNR（local SNR）
-
为L_SNR进行插值并且报告SNR
关于参考亮度L_ref,可以看看这里
ISO 15739 — Noise measurements | Imatest 
https://www.imatest.com/solutions/iso-15739/; 有了L_ref，就可以计算L_SNR了：
L_SNR = 0.13 * L_ref
关于相关测试参数详细说明，可以参考这里
ISO Sensitivity and Exposure Index | Imatest https://www.imatest.com/docs/sensitivity_EI/;
关于18%灰度值，这两篇文章讲述的比较清楚
18%灰板的原理是什么？18%灰板的原理是什么？http://www.360doc.com/content/18/1012/06/9158875_794007368.shtml ;
关于OECF，参考这里
OECF | Imatest https://www.imatest.com/tag/oecf/;
使用枯叶图测量噪声
另一种测量噪声的方法是使用枯叶图进行。枯叶图包含了很多圆形，圆形的直径和颜色都是随机生成的，整个图呈现非均匀的模式。使用非均匀的模式能够使结果更加贴近实际的噪声表现，并且最终会有更好的用户体验相关性。
枯叶图测试模式样例
常用噪声相关标准
ISO 15739 Visual Noise
虽然SNR值是一种历史悠久的描述sensor的性能的衡量手段，但当我们想要表达人眼所能见到的噪声多寡时，它并不是最好的选择。
ISO 15739使用一种衡量手段，叫做Visual Noise（可视化噪声），相比于SNR，它更加贴近人眼对噪声的感知。Visual Noise的值很容易理解：值越高，观察者所见的噪声就越多。SNR和VN最大的不同是VN会根据可见度来权衡噪声。不能被看见的噪声不会被考虑进噪声测量中。
如何得知噪声对人眼是否可见呢？
我们可以用模型来描述人眼视觉系统对空间频率的响应。对比灵敏度函数（Contrast Sensitivity Function，CSF），以及假设一种观察条件，就能让我们去计算不同噪声频谱部分的重要性。下图中，图像1x在高空间频率中有最多的噪声，在CSF中是低响应。图像4x在较低的空间频率中有最多的噪声，并且根据CSF，能够被轻易地观察到。因此图像4x的VN值会比1x更高。
1x,2x,4x 噪声，4x噪声VN值要高得多。
EMVA 1288非均匀性
EMVA（欧洲机器视觉联盟，European Machine Vision Association）1288 被发布出来，以便帮助买家选择满足其需求的相机或sensor。这个标准定义了测试配置，测试过程，算法以及报告等内容，可以对相机系统中的噪声进行完整的测试。使用这些准则的测试会输出如下噪声相关值：暗信号非均匀性（Dark Signal Non-Uniformity，DSNU），信噪比（Signal to Noise Ratio，SNR），像素响应非均匀性（Pixel Response Non-Uniformity，PRNU），暗噪声以及暗电流。
Original: https://blog.csdn.net/vivo01/article/details/125065702
Author: 亦枫Leonlew
Title: 图像质量评估(3) — 噪声
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/532419/
转载文章受原作者版权保护。转载请注明原作者出处！