目前，根据图像融合的层次，将图像融合算法分为像素级图像融合，特征级图像融合和决策级图像融合。像素级图像融合处理主要是在图像像素层面上操作处理图像数据，属于基础层次的图像融合。优点是可以保持源图像更多的原始数据，比起其他融合层次来说，细节更丰富，目标空间位置相对更精确。但是，融合前需对融合源图像进行严格的点对点的图像校正、降噪和配准等图像预处理，否则会严重影响后续的融合效果。主要包括主成分分析（PCA）、脉冲耦合神经网络法（PCNN）等算法。特征级图像融合属于中间层次融合，该类方法依据已有的关于各传感器的成像特点，有针对性的提取各图像的优势特征信息，例如边缘，纹理等。主要包括模糊聚类、支持向量聚类等算法。决策级融合属于最高层次的融合，与特征级融合相比，它对源图像的处理是在提取出图像的目标特征之后，继续进行特征识别、决策分类等处理，然后联合各个源图像的决策信息进行联合推理，得到推理结果。主要包括支持向量机、神经网络等算法，决策级融合是一种高级的图像融合技术，同时其对数据的质量要求比较高，算法的复杂性极高。
1.1基于常规的图像融合方法
1.1.1 基于最大（Max）/最小值（Min）的图像融合方法
假设两幅待融合的图像 A 和 B，它们大小一致，都为 M×N，则基于像素的灰度值选大图像融合图像 F 可表示为
基于像素的灰度值选小图像融合方法可表示为：
即在融合处理时，比较源图像A（i, j）和B（i, j）中对应位置处像素的灰度值的大小，以其中灰度值大(或小)的像素(可能来自图像A或B)作为融合后图像F(i,j)处的像素。这种融合方法只是简单地选择参加融合的源图像中灰度值大或小的像素作为融合后的像素，该融合方法的适用场合非常有限。
; 1.1.2 基于像素加权平均(Average)的图像融合方法
像素加权平均法是图像融合中最简单的方法之一，根据两幅图像本身的灰度信息，在相同像素点对两幅图像灰度值分别赋予权值，融合图像的灰度是两幅图像灰度值的加权之和。如果是彩色图像则在三通道上重复上述操作，得到三个通道上的融合灰度。假设两幅待融合的图像 A 和 B，它们大小一致，都为 M×N，则融合图像 F 可表示为
其中为图像A和B的权重，且满足。基于像素加权平均的图像融合方法比较简单，运算速度快，但是在融合过程中只考虑像素点灰度大小，忽略了像素点的位置和其他因素。所以生成的融合图像无法很好保留原有图像细节特征，丢失有用信息，增加了冗余信息。造成视觉效果较差，图像难以辨别。
1.2 基于多尺度的图像融合方法
图像的金字塔[59]表示方法是一种多尺度、多分辨率表示方法，可以将图像的金字塔表示方法想象为一幅图像在不同尺度上的堆叠。图像的金字塔分解可以用来对图像中各种不同尺度的特征进行分析[30]，比如：低分辨率图像可用于分析大尺度的物体，像边缘细节这样的小尺度信息则可以用高分辨率图像来进行分析。根据金字塔的构造原理，可以将基于金字塔变换的方法分为高斯金字塔、拉普拉斯金字塔、对比度金字塔等等【40】，这些变换方法均是以高斯金字塔为基础的，高斯金字塔是一个形似塔型的图像序列，该序列中的每一级图像都是将其前一级图像经过低通滤波之后再经过隔行隔列降采样得到的，所以其单边尺寸是逐层减半的，每一层的面积大小都是前一层的四分之一。其他的金字塔变换就是在高斯金字塔分解结果的基础上做进一步的操作得到的，基于金字塔变换的方法虽然简单，但是变换的过程中有上\下采样操作，所以不具备平移不变性，而且所有的图像金字塔变换均是图像的冗余分解，即在分解结果中，相邻尺度间的数据有相关性和冗余，这很有可能会使得融合结果中出现块状伪影。
1.2.1拉普拉斯金字塔
1、拉普拉斯金字塔图像分解
对源图像分别进行隔行、隔列降采样,然后利用高斯窗口函数与得到的图像做卷积操作,反复重复上述操作，就可以形成一系列的分辨率逐渐递减并且进行了低通滤波后的塔层，这些塔层组成的金字塔即为高斯金字塔(Gaussian Pyramid， GP)[18]。
在高斯金字塔的运算过程中，图像经过卷积和下采样操作会丢失部分高频细节信息。为描述这些高频信息，人们定义了拉普拉斯金字塔(Laplacian Pyramid， LP)。用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为 LP 分解图像。如下图1为拉普拉斯金字塔分解图像的构建过程。
图1 拉普拉斯金字塔图像分解过程
从金字塔底层图像重建上层未采样图像,即预测残差,把图像最大程度的还原。它所表现出来的是 一组图像序列,记为 L 。即:
其中为高斯金字塔；为拉普拉斯金字塔。反复进行以上过程,得到一系列的图像,该步骤即是拉普拉斯金字塔的构造过程。
2、拉普拉斯金字塔图像融合
通过对所获取得每个图像的拉普拉斯金字塔，相应层次的图像进行融合，即可获取融合后的拉普拉斯金字塔图像，具体的融合规则有，取大、取小，加权平均等等，融合示意图如图2所示
图2 拉普拉斯金字塔融合示意图
3、拉普拉斯金字塔图像重构
对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下按下式进行递推，可以恢复其对应的高斯金字塔，并最终可得到原图像G0。就是从最高层开始使用内插的方法。
图三为一组配准后的红外图像和可见光图像的拉普拉斯金字塔图像的融合过程，图3（c）、(d)分别为红外原始图像和可见光原始图像的三层拉普拉斯金字塔的分解结果，对IR和VI的LP分解的对应层采用最大值融合方法，获取融合后逇LP金字塔各层图像。如图3（e）,对融合后的拉普拉斯金字塔进行重建，即可获取可见光和红外图像的融合图像R。
（a）IR 源图像
（c）重构融合图像
图3 拉普拉斯金字塔图像融合实例
3.2.2对比度金字塔图像融合方法
如第2.1.3节中的图像对比度金字塔的介绍，基于对比度金字塔图像融合方法[19]在其基础上增加了相应的融合规则，类似拉普拉斯金字塔，即通过对所获取得每个图像的对比度金字塔，相应层次的图像进行融合，即可获取融合后的对比度金字塔图像，具体的融合规则有，取大、取小，加权平均等等，融合算法的流程如下图4所示。
图4 对比度金字塔的融合过程
; 1.3基于变换域的图像融合方法
基于变换域的图像融合方法通常也包含多尺度融合的思想，通常此类方法主要包括以下三个步骤，如图1所示。首先，将红外源图像和可见光源图像分解为低频子带和高频子带；然后，利用各种策略处理低频子带和高频子带，再分别设计融合规则对低频子带和高频子带进行融合；最后，逆变换得到最终融合图像。不同的图像融合方法采用不同的多尺度变换，例如，小波变换、和NSST等。
图1 基于图像分解的异源图像融合过程
1.3.1基于小波变换的图像融合方法
近年来，在图像多尺度分解融合方法中，小波变换因其多分辨率和时频局部化特性，在图像融合中得到了广泛的应用。小波变换融合的第一步是构造小波基函数，小波基函数是一个长度有限，均值为零的波形。在图像处理过程中，可根据信号的不同设置不同的小波。人们熟知傅里叶变换主要处理周期性的信号，而小波变换更适合处理非周期有突变的信号。将小波信号应用到图像融合当中，比傅里叶信号需要计算时间更少，融合速度更快。
小波基函数满足式（2-6）方程：
可以将伸缩或平移，使其构成在上的标准正交基。小波函数有两个参数 a 和 b，这两个参数控制小波的缩放和平移，连续的小波变换可以看作函数和小波基的内积：
基于小波的融合步骤是在图像配准后，对图像进行小波变换分解，然后对不同层次不同方向的图像采取不同的处理方式，再进行图像逆变换，得到融合图像。分解过程利用式（2-7）将图像与小波函数内积。每进行一次小波分解可将图像分解为四个子图像，其中一张低频图像，三张高频图像。因为对图像的不同频率采用了不同的处理方法，所以小波融合在消除图像噪声方面表现良好，具有较好降噪功能。
; 1.3.2基于NSST图像的图像融合方法
K.Guo和G.Easley提出的剪切波（Shearlet）变换具有简单的数学结构，它是由一个函数进行平移、伸缩和旋转等一系类操作后形成的基函数，之后在对基函数进行缩放、平移和剪切等放射变换生成的剪切函数。Shearlet 变换是通过膨胀的仿射系统构造的。Shearlet 变换可以对高伟信号达到最优逼近，可以检测到二维信号的所有奇异点。多分辨率、多方向和局部性等优良特性 Shearlet变换也依然具有。
- Shearlet 变换理论
Shearlet 变换是多尺度几何分析工具，克服小波变换不能实现最优逼近的缺点。在小波理论的基础上，采用仿射系统系统构造剪切波。当维数n = 2时，其表达式如下：
其中，表示关联尺度变换，表示关联几何变换，均为2×2的可逆矩阵，如果对于任意的，具有满足下式的 Parseval 型式的紧框架，为合成小波。
当时
；
式中 a 为尺度变量，s 为方向变量，通常取a =4， s =1，该防射系统就是有矩阵 A 和 B 决定的剪切波变换。
，即可得到
的频域支撑集，其结构如下图1。
(a)Shearlet 频域分割图
(b)频域支撑图
图1 Shearlet频域支撑图和频域支撑集大小
上的一个 Parseval 框架。
的Parseval 框架，其中D1表示垂直锥：
Shearlet的数学特性：（1） Shearlet 变换有良好的局部特型，无论空间域上还是频域上都含有局部特性； （2） Shearlet 变换有多尺度性；（3）Shearlet 变换有良好的方向性，Shearlet 变换方向的数目与尺度呈倍数关系；（4）Shearlet 变换最佳稀疏表示。
对于 Shearlet 变换的过程是一种可逆变换，分为分解与重构两个步骤。首先由小波合成理论进行多尺度分解，使原始图像分解得出一个低频子带和若干高频子带；之后使用窗函数对高频子带进行方向分解。最后，使用 Shearlet 逆变换对处理后的高频和低频图像进行重构。
2.非下采样 Shearlet 变换
Shearlet 变换是现今在图像处理领域较晚提出的变换域方法。通过上述的Shearlet 变换的数学特性，可达到最佳的稀疏表示能力，而且运算效率高。其多方向甚至达到方向数不受限制。然而，Shearlet 变换不具有平移不变性，所以非下采样 Shearlet变换（Non-subsampled Sheartlet Transform, NSST）也就被研究人员提出来了。
NSST变换是在 Shearlet 变换上去除下采样过程得到的新的变换域方法，它具有 Shearlet 变换的优点还增加了平移不变性的优势。此方法处理图像在图像的边缘、纹理信息等部分尤为突出。非下采样 Shearlet 变换分为两个步骤：多尺度分解、方向局部化。对这两部分分别叙述：
(1)图像的多尺度分解。采用非下采样金字塔滤波器（NSP）分解原始图像，处理后获取一个低通子带图像和一个带通子带图像；
图1 NSP非下采样滤波器组的结构
(2)图像的方向局部化。对获取的带通子带图像进行方向局部化，使用的方法为改进的剪切波滤波器（Shearlet filter，SF）。标准的剪切波滤波器含有下采样操作，改进后的剪切波滤波器去除下采样操作，获取平移不变性。具体实现过程如下：一、将标准 SF 从伪极化网络系统映射到笛卡尔坐标系统；二、构建”Meyer”窗函数，对图像进行多尺度分解，获得不同的方向子带系数；三、对每一方向子带系数进行卷积操作，最终得到 NSST 系数。
图2 NSST图像分解
MATLAB代码链接：NSCT的MATLAB代码
其他代码后续补充
Original: https://blog.csdn.net/G_redsky/article/details/125322614
Author: G_redsky
Title: 几种常规的图像融合方法及其原理
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/703622/
转载文章受原作者版权保护。转载请注明原作者出处！