论文笔记（综述）——Image fusion meets deep learning: A survey and perspective

文章目录

• 零、摘要（Abstract）
• 一、引言（Introduction）
• 二、方法回顾（Method review）
  *
• 1、数字摄影图像融合（Digital photography image fusion）
  –
  • （1）多曝光图像融合（Multi-exposure image fusion）
    +
  • a) CNN Methods
  • b) GAN Methods
  • （2）多聚焦图像融合（Multi-focus image fusion）
    +
  • a) CNN Methods
  • b）GAN Methods
  • c*) 基于决策图和整体重建方法的对比
• 2、多模态图像融合（Multi-modal image fusion）
  –
  • （1）红外与可见光图像融合（Infrared and visible image fusion）
    +
  • a) AE方法
  • b) CNN方法
  • c) GAN方法
  • （2）医学图像融合（Medical image fusion）
    +
  • a) CNN Methods
  • b) GAN Methods
• 3、锐化融合（Sharpening fusion）
  –
  • （1）多光谱锐化（Multi-spectral sharpening）
  • （2）高光谱锐化（Hyperspectral sharpening）
• 4、统一的图像融合方法（Unified image fusion approaches）
• 三、评估（Evaluation）
  *
• 1、定性和定量评估（Qualitative and quantitative evaluation）
• 2、效率评估（Efficiency evaluation）
• 四、应用（Applications）
  *
• 1、摄影可视化（Photography visualization）
• 2、RGBT目标跟踪（RGBT object tracking）
• 3、医学诊断（Medical diagnosis）
• 4、遥感监测（Remote sensing monitoring）
• 五、总结和展望（Conclusion and prospect）
  *
• 1、非配准图像融合（Non-registered image fusion）
• 2、不同分辨率的图像融合（Different resolution image fusion）
• 3、面向任务的图像融合（Task-oriented image fusion）
• 4、实时图像融合（Real-time image fusion）
• 5、融合质量评估（Fusion quality assessment）

零、摘要（Abstract）

• 图像融合：指从不同的源图像中提取并组合最有意义的信息，其目的是生成一幅信息量更大、有利于后续应用的图像。
• 深度学习在图像融合中的应用：神经网络的强大特征提取和重建能力使得融合结果有前景。（如：生成对抗网络，自动编码器）
• 本文要点：
• ① 介绍了图像融合的概念，并从采用的深层架构和融合场景的角度对图像融合方法进行分类。
• ② 回顾了深度学习在各种图像融合场景中的应用，包括数字摄影图像融合、多模态图像融合和锐化融合。
• ③ 对特定融合任务中的一些代表性方法进行了定性和定量评估。
• ④ 介绍了图像融合的几个典型应用，包括摄影可视化、RGBT目标跟踪、医学诊断和遥感监测。
• ⑤ 给出了结论，强调了图像融合面临的挑战，并展望了未来可能的研究方向。

一、引言（Introduction）

• 图像融合
• 背景：由于硬件设备的理论和技术限制，由单个传感器或在单个拍摄设置下捕获的图像无法有效和全面地描述成像场景。
• 目的：图像融合能够将不同源图像中的有意义的信息结合起来生成单一的图像，包含更丰富的信息，更有利于后续的应用
• 应用：图像融合作为一种图像增强方法，已广泛应用于许多领域。如：摄影可视化、目标跟踪、医学诊断和遥感监测。
• 传统的融合方法：通过相关的数学变换手工分析活动水平，在空间域或变换域设计融合规则。
  • 方法类型
  • 基于多尺度变换的方法（multi-scale transform-based）
  • 基于稀疏表示的方法（sparse representation-based）
  • 基于子空间的方法（subspace- based）
  • 基于显著性的方法（saliency-based）
  • 基于全变分的方法（total variation-based）
  • 局限性
  • 一方面，为了保证后续特征融合的可行性，传统的方法被迫对不同的源图像采用相同的变换来提取特征。然而，该操作不考虑源图像的特征差异，这可能导致所提取的特征的表达能力差。
  • 另一方面，传统的特征融合策略过于粗糙，融合性能非常有限。
• 基于深度学习的图像融合方法
  • 优点：
  • 首先，基于深度学习的方法可以使用不同的网络分支来实现差异化特征提取，从而获得更具针对性的特征。
  • 其次，基于深度学习的方法可以在设计好的损失函数的指导下学习更合理的特征融合策略，从而实现自适应特征融合。
• 图像融合的实现
• 三个子问题
  • 特征提取（feature extraction）
  • 特征融合（feature fusion）
  • 图像重建（image reconstruction）
• 基于深度学习的融合策略
  • 1、自编码器【AE methods】（autoencoder (AE)-based）
  • ①预先训练自动编码器。
  • ②使用经过训练的自动编码器实现特征提取和图像重建，同时根据传统的融合规则实现中间特征融合。
  • 代表性工作：DenseFuse，数据集：MS-COCO，图像融合策略：the addition and the l 1 l_1 l 1 ​-norm fusion strategies
  • 2、卷积神经网络【CNN methods】（ conventional convolution neural network (CNN)-based）
  • 两种类型方法：
    • 端到端的特征提取、图像融合、图像重建
      

      代表性工作：PMGI：提出了梯度和强度的比例保持损失，引导网络直接生成融合图像。

    • CNN图像融合+传统方法特征提取和图像重建
      

      代表性工作：采用CNN生成融合权值，图像分解和重建采用Laplacian pyramids.算法。

  • 3、生成对抗网络【GAN methods】（generative adversarial network (GAN)-based methods）
  • 依靠生成器和鉴别器之间的对抗博弈来估计目标的概率分布，从而以隐式方式共同完成特征提取、特征融合和图像重建
    

    代表性工作：FusionGAN：建立融合图像与可见图像之间的对抗博弈，进一步丰富融合图像的纹理细节。

• 三类图像融合场景
  

  根据融合目标和源图像成像的差异进行分类

• 1、数码摄影图像融合（Digital photography image fusion）
  • 特点：由于数字成像设备的性能限制，传感器无法在单一设置下（如：光照，景深等）完全表征成像场景中的信息。
  • 任务：多曝光图像融合和多聚焦图像融合可以融合在不同设置下拍摄的图像，以产生高动态范围和全清晰的结果。
• 2、多模态图像融合（Multi- modal image fusion.）
  • 特点：多模态图像融合组合了多个传感器获得的图像中最重要的信息，以实现对场景更加全面的描述。
  • 任务：红外和可见图像融合和医学图像融合
• 3、锐化融合（Sharpening fusion）
  • 特点：在保证信噪比的前提下，光谱/滤波器与瞬时视场（IFOV）之间存在一定的矛盾。换句话说，没有一个传感器能够同时捕获高空间分辨率和高光谱分辨率的图像。
  • 任务：锐化融合致力于融合不同空间/光谱分辨率的图像，以生成所需的结果，不仅具有高空间分辨率，而且具有高光谱分辨率。
    

    典型的锐化融合包括多光谱（MS）锐化和超光谱锐化。从源图像成像的角度来看，锐化融合也属于多模态图像融合。然而，就融合目标而言，锐化融合需要比上述多模态图像融合更高的光谱/空间保真度，从而直接提高分辨率。因此，锐化融合作为一个单独的类别进行讨论。

• 本文工作
• 全面回顾了多种图像融合场景中的最新技术
• 全面调研了深度学习在各种类型图像融合场景中的应用的最新技术
  

; 二、方法回顾（Method review）

1、数字摄影图像融合（Digital photography image fusion）

• 数字成像的限制：①光学透镜景深限制，无法同时聚焦 ②动态范围有限，曝光存在差异
• 解决方法：将不同拍摄设置下捕获的多个图像采用 图像融合算法结合，生成具有高动态范围的全清晰图像
• 融合任务：多曝光图像融合、多焦点图像融合

（1）多曝光图像融合（Multi-exposure image fusion）

• 多曝光图像融合是将不同曝光量的图像的有效信息结合在一起，产生具有适当曝光量和丰富成像信息的结果。
• 融合方法：CNN方法、GAN方法

a) CNN Methods

• 方法1：直接使用训练的CNN模型对多张不同曝光度的图片进行特征提取，根据特征映射的显著性确定相应像素的重要性，生成权重图（weight map），最后依照权重图计算生成融合图像。

权重图：指明每张源图像对应的每个像素点在生成融合图像的权重

• 方法2：直接使用CNN在多曝光数据上进行学习，动态完成特征提取、特征融合、图像重建的过程（端到端）
• 技术路线1：手工选择曝光较好的图像作为基准（ground truth），监督模型训练。
  

  不足：图像选择具有主观性，从而对网络的融合性能设置了上限

• 技术路线2：使用特殊设计的非参考指标，如MEF-SSIM，来评估融合结果的质量，指导模型输出曝光良好的图像。
  

• 注：非参考指标：指评价图片时完全不知道原始图片是怎样
• 基于无参考指标的方法产生了有希望的融合结果。非参考度量的合理性直接决定了网络的学习质量

b) GAN Methods

• GAN方法将曝光条件作为概率分布，因此通过对抗性学习，融合图像的曝光趋于良好。因此，构造理想的曝光分布作为近似目标是很重要的
• MEF-GAN：使用MEF数据集中的 标签图像作为曝光参考，这个标签图像是从多个图像融合算法的结果中选择的。（主观性）
• GANFuse：GANFuse从信息组合的角度构建了对抗模型。该方法认为融合图像和源图像之间的差异应具有与另一源图像相似的概率分布。

• 尽管这种对抗性模型可以使融合图像包含来自源图像的尽可能多的信息，但假设融合图像中的信息是源图像中信息的总和可能是不准确的。
• 尽管如此，GAN方法仍能产生有希望的融合结果。充分利用源图像中的信息（例如，曝光条件，场景结构）来建立无监督的对手模型可能是实现高质量多曝光融合的良好选择。

（2）多聚焦图像融合（Multi-focus image fusion）

• 背景：光学透镜的局限性导致很难让不同景深的所有物体在一幅图像中都聚焦
• 多聚焦图像融合方法：可以视为清晰像素的选择
• 按模型分：CNN、GAN方法
• 按策略分：基于决策图的方法、基于整体重建的方法

a) CNN Methods

• 基于策略图的方法：
• 思想：基于决策图的CNN方法是一种 分类器，能够有效地确定像素的清晰度和模糊度，从而根据源图像的聚焦条件 生成融合决策图。根据融合决策图对源图像像素进行选择和组合，得到最终的融合结果。
• 关键：构建用于训练分类器的清晰和模糊的图像对（image pairs）
• 生成模糊图像的方法：
  • 高斯核（Gaussian kernel）→不够真实
  • 蒙版边界散焦模式（the matte boundary defocus mode）→更加真实
• 有些研究者认为生成图像对不是关键，而是使用一些简单的策略，如引导过滤（guided filtering ）和重复模糊（repeated blur），来构造粗糙的伪参考决策图，指导分类网络的优化。
• 基于整体重建方法：
• 思想：要求融合后的图像通过筛选规则接近源图像对应的位置或区域，从而引导网络重构出完全清晰的结果

b）GAN Methods

• 基于决策图的方法：
• 思想：通常使用生成器generator生成决策图，得到融合结果，然后利用对抗性学习使融合结果接近参考全清晰图像。
  

  这本质上是对CNN方法在图像级获得的决策图的进一步细化

• 基于整体重建的方法：
• 思想：致力于使融合图像在像素级或特征级接近期望的概率分布，从而进一步优化重建的融合结果，使其具有更丰富的纹理和更高的像素保真度

c*) 基于决策图和整体重建方法的对比

• 基于决策图的方法
• 优点：直接对源图像进行融合的，能够保持较高的像素保真度
• 不足：①对决策图的精度要求非常高，这也导致了在聚焦和非聚焦边界附近丢失场景信息；②需要后处理来细化生成的决策图，例如一致性验证（consistency verification）、完全连接条件随机场（fully connected conditional random fields (CRF)）等
• 基于整体重建方法
• 优点：具有较强的场景信息保存能力
• 不足：可能会出现一定程度的像素值失真

; 2、多模态图像融合（Multi-modal image fusion）

• 不同传感器的成像原理不同，它们捕获的多模态图像在描述场景时的重点也有很大的不同。
• 通过融合不同模态图像中互补和有益的信息，可以对成像场景或目标提供更全面的描述。
• 两种最具代表性的多模态图像融合任务是红 外与可见光图像融合和 医学图像融合。

（1）红外与可见光图像融合（Infrared and visible image fusion）

• 两种图像的特点：红外图像具有明显的对比度，即使在恶劣天气下也能有效地从背景中突出目标。可见光图像包含丰富的纹理细节，更符合人类的视觉感知。
• 图像融合目标：产生高对比度和丰富纹理的效果。
• 方法类型：AE，CNN和GAN方法

a) AE方法

• 思想：自动编码器（Encoder：特征提取+Decoder：图像重建）+ 图像融合策略*（手工计算：图像融合）
• 局限性：设计图像融合策略是关键，手工计算方法是粗糙的，会限制融合效果的提升

b) CNN方法

• 方法1：端到端（关键：损失函数、网络结构）
• 网络结构：对于网络结构的设计，最常用和有效的方法是剩余连接（the residual connection）、密集连接（the dense connection）和双流结构（the dual-stream architecture）。
• 损失函数：损失函数的设计在于表征融合结果与源图像之间对比度和纹理的相似性。主流的损失函数项包括强度损失（the intensity loss）、梯度损失（gradient loss）、SSIM损失（SSIM loss）和感知损失（perceptual loss），它们的权重比（weight ratio）决定了信息融合的趋势。
• 方法2：预训练模型特征提取+CNNt生成特征权重图进行图像融合+图像重建
• 使用预先训练的网络（如VGGNet）从源图像中提取特征，并基于这些特征生成融合权重图。
• 卷积神经网络只实现了融合。
• 无论是特征提取还是图像重建，带来的融合性能都非常有限。

c) GAN方法

• 思想：端到端（内容损失（content loss）和对抗性损失（adversarial loss））
• 内容损失：与CNN方法相似，CNN方法最初用于融合源图像
• 对抗损失：进一步限制了信息融合的趋势。
• 发展：
• 早期用于红外和可见光图像融合的GAN方法仅在融合图像和可见光图像之间建立对抗性博弈，以进一步增强可见光图像丰富细节的保存。
• 为了更好地平衡红外和可见光信息，后续方法已开始使用具有多个分类约束的单个判别器或双判别器（a single discriminator with multiple classification constraints or dual discriminators）来同时估计源图像的两个概率分布。
• 总结：一般来说，GAN方法可以产生有希望的融合结果。然而，在训练期间要保持发生器和鉴别器之间的平衡并不容易。

（2）医学图像融合（Medical image fusion）

• 医学图像根据所代表的信息可分为 结构图像和 功能图像。
  

  例如，PET和SPECT图像可以描述人体代谢功能的强度，而MRI和CT图像可以反映组织的结构。绿色荧光蛋白（GFP）图像可以显示与生物活细胞分子分布相关的功能信息，而相衬（PC）图像可以描述细胞核和线粒体等结构信息。

• 融合目标：医学图像融合将两种不同类型的医学图像结合起来，生成信息更丰富的单一图像，有利于更准确地诊断疾病。
• 融合方法：CNN方法和GAN方法。

a) CNN Methods

• 方法1：预训练模型特征提取+CNN图像融合+图像重建
• CNN只参与特征融合。
  

  这些方法通常使用预先训练的卷积神经网络来测量医学图像像素的活动水平并生成融合权重图。然后，将生成的权重图与传统的拉普拉斯金字塔(Laplacian pyramid)等分解重建策略相结合，实现医学图像融合。

• 存在的问题：由于网络参数未在医学图像上训练，因此由预训练网络生成的融合权重图可能不合适。
• 方法2：End-to-end
• 基于所需信息在融合结果和源图像之间构建损失函数，在医学图像上精心训练网络。经过训练的网络能够端到端地完成特征提取、特征融合和图像重建。
• 优点：与方法1相比，能够获得相对较好的融合性能。

b) GAN Methods

• GAN方法通过对抗性学习机制同时对医学源图像中的 显著信息进行建模。
  

  例如：

• 功能医学图像的显著信息是 强度分布， 结构医学图像的显著信息是 空间纹理。
  
  将GAN引入GFP和PC图像的融合，利用PC图像和融合图像之间的对抗性学习来加强结构信息的保存。

• DDcGAN采用多个鉴别器与生成器建立对抗游戏，使得生成器生成的融合图像能够包含功能和结构信息。
• 在DDcGAN的基础上，MGMDcGAN引入了第二个对抗游戏，根据计算出的面具，进一步增强了骨密度信息的保存。
• 优点：总体而言，GAN方法可以在医学图像融合中取得优异的性能。
• 挑战：由于功能图像的像素强度远大于结构图像，因此纹理信息可能被功能信息掩盖。医学图像融合的这一特点对GAN方法提出了挑战，因为GAN的训练不平衡经常发生。

3、锐化融合（Sharpening fusion）

关于RGB图像、全色图像、多光谱图像、高光谱图像的解释：参考：https://blog.csdn.net/kellyroslyn/article/details/82656770

• 全色图像：是单通道的，其中全色是指全部可见光波段0.38~0.76um，全色图像为这一波段范围的混合图像。因为是单波段，所以在图上显示为灰度图片。全色遥感图像一般空间分辨率高，但无法显示地物色彩，也就是图像的光谱信息少。
• 高光谱图像：是由很多通道组成的图像，具体有多少个通道，这需要看传感器的波长分辨率，每一个通道捕捉指定波长的光。

• 多光谱图像：成像的波段数量比高光谱图像少，一般只有几个到十几个。光谱通道越多，其分辨物体的能力就越强，即光谱分辨率越高。
  

  

• 锐化融合是克服 光谱分辨率和 空间分辨率之间矛盾的有效技术。在空间图像的指导下，致力于在 保持光谱分辨率的同时实现空间维度的超分辨率。两种典型的锐化融合任务是 多光谱图像锐化和 高光谱图像锐化。

（1）多光谱锐化（Multi-spectral sharpening）

缩写汇总：MS：多光谱图像；PAN：全色图像；HRMS：高空间分辨率多光谱图像；LRMS：低空间分辨率的多光谱图像；LRPAN：低分辨率的全色图像
相关概念：退化操作（degradation operations）：降低图像的空间分辨率。

• 融合目标： 低空间分辨率（LRMS）的多光谱图像 + 全色（PAN）图像 → 高空间分辨率（HRMS）的多光谱图像
• 融合方法： CNN和 GAN方法，根据学习方式分为 有监督模型（supervised models） 和 无监督模型（unsupervised models ）。
• CNN方法：
  • 监督方法：首先对原始MS和PAN图像执行空间退化操作（即：降低分辨率）（如低通滤波器、下采样等），以获得LRMS和LRPAN图像。然后将生成的LRMS和LRPAN图像用作输入图像，将原始MS图像作为参考图像。
    

    生成的HRMS图像与参考图像（reference image）之间的像素强度距离是 监督CNN训练网络的主要约束条件。然而，仅在该约束条件下获得的融合结果通常会出现 空间结构损失。虽然 l 1 l_1 l 1 ​ 距离比 l 2 l_2 l 2 ​ 距离更好地保护这些纹理细节，但仍然不令人满意。为了应对这一挑战，一些方法采用了 新的学习策略（例如，剩余学习（the residual learning），高频域训练（training in high-frequency domain））和附加损失函数（additional loss functions）（例如，感知损失（the perceptual loss)）），以进一步加强结构的保存。其他一些方法主张探索PAN和HRMS图像之间的空间结构关系，并使用它指导融合结果包含更合理的纹理细节。

  • 无监督方法：直接在原始MS和PAN图像上进行训练。
    

    无监督CNN方法依赖于保留频谱和空间结构的loss构造（两个loss）。

  • 光谱保留的损失函数（loss function for spectral preservation） 是空间退化后的融合图像与LRMS图像之间的距离。因此， 保护空间结构的损失函数设计是实现高质量锐化的关键。
  • 空间损失（spatial loss） 定义为变换后PAN图像和融合HRMS图像之间的强度/梯度距离，其中变换策略包括回归线性加权，通道复制等。
• GAN方法：将对抗机制作为附加约束，使融合后的HRMS图像具有更高的光谱保真度和合理的空间结构。GAN方法也可分为两种类型：监督的和非监督的。
  • 监督GAN方法：直接使用参考图像（reference image）作为对抗目标，从而同时实现对期望光谱分布和空间结构分布的估计。
  • 无监督GAN方法：使用两个独立的判别器来实现光谱和结构的保存，由于没有参考目标可以同时提供理想的光谱和空间分布。其中，对抗式游戏中所涉及的数据构造类似于上述无监督CNN方法。
  • 在 融合性能方面，当前有监督方法优于无监督方法。然而，需要注意的是，监督融合网络的性能高度依赖于成对数据的构造，这意味着监督模型在全分辨率测试中可能表现不佳。对于无监督方法，目前的主要问题是用于构建空间结构损失的假设不够合理，这限制了无监督模型的性能。

（2）高光谱锐化（Hyperspectral sharpening）

缩写汇总：MS：多光谱图像；PAN：全色图像；HRMS：高空间分辨率多光谱图像；LRMS：低空间分辨率的多光谱图像；LRPAN：低分辨率的全色图像；LRHS：低空间分辨率的高光谱图像；HRHS：高空间分辨率的高光谱图像

• 高光谱图像的特点：高光谱图像相比于多光谱图像具有 更高的光谱分辨率和 更低的空间分辨率。
• 融合目标：通过融合 低空间分辨率的高光谱图像（LRHS） 和 多光谱图像（MS） 或 全色图像（PAN） 来实现高光谱锐化，从而产生 高空间分辨率的高光谱图像（HRHS）。
• 融合方法： CNN和GAN方法。同时也可分为 有监督和 无监督两种。
• CNN方法：
  • 监督学习：由于HRHS图像无法获得，监督CNN方法通常在模拟数据上进行训练。
    

  • 更具体地说，这些方法直接使用现有的 光谱响应函数（SRF）和自定义点扩展函数（PSF） 在原始HS图像上实现 光谱退化和空间退化。退化图像和原始HS图像被构造成 图像对，以便在监督下学习高光谱锐化。
  • 存在问题：这种通过模拟中的监督训练获得的模型可能不适合实际场景。
  • 无监督学习：
    

    缩写：CRF：连通条件随机场（connected conditional random fields (CRF)）；PSF：点扩散函数（point spread function (PSF)）；SRF：光谱响应函数（spectral response function (SRF) ）

  • 在一些无监督的CNN方法中，虽然不需要参考图像来监督训练过程，但需要知道CRF和PSF。
    

  • 一些些方法通过SRF和PSF在生成的HRHS图像和观测的源图像之间建立一致性关系，从而实现对HRHS图像的有效估计。不幸的是，在大多数情况下，SRF和PSF是不可知的。
  • 为了应对这一挑战，一些CNN方法结合高光谱分解来设计 耦合网络，以估计SRF和PSF，从而在没有监督的情况下实现高光谱锐化，这已显示出良好的性能。
  • 与上述方法不同，[98]假设HRHS和LRHS图像共享相同的光谱子空间，其中CNN仅用于正则化子空间系数的估计，以便生成所需的HRHS图像。
• GAN方法：GAN方法用于高光谱锐化的研究相对较少。
  • HPGAN采用3D卷积网络，在参考图像的监督下，重点捕获所需的高频残差。将采样的LRHS图像与学习到的高频残差相加，得到最终的融合结果。
  • HPGAN使用已知的SRF将生成的HRHS图像退化为PAN图像，从而与源PAN图像建立对抗游戏，这进一步增强了高光谱锐化的性能。

; 4、统一的图像融合方法（Unified image fusion approaches）

• 目的：有些方法具有很好的通用性，可以在统一的框架下实现各种图像融合任务。虽然这些方法的思想往往非常不同，但它们的特点是可以发现 不同融合任务的共性。
• 方法：
• U2Fusion：采用弹性权重合并（elastic weight consolidation (EWC) ）来持续训练融合网络，可以克服跨任务学习（cross-task learning）中的灾难性遗忘问题。通过这种方式，U2Fusion为各种图像融合任务建立了通用模型。
• PMGI：将各种图像融合任务建模为强度和梯度信息的提取和重建。只需根据具体任务中信息融合的趋势 调整损失函数项的系数比，以适应多种图像融合场景。
• IFCNN：该方法认为，任何图像融合任务都是一个有效信息选择的问题，其中 信息有效性的评估基于像素的清晰度。类似的统一方法包括SGRFR、CU-Net、DIF-Net、SDNet等。

三、评估（Evaluation）

• 对于上述六个图像融合任务，我们在各自的代表性数据集（具体信息见下方表格）上进行了评估实验。
• 在每个图像融合任务中，选择了五种具有代表性的方法进行评估，包括基于AE的方法、基于CNN的方法、基于GAN的方法和统一方法。

融合任务数据集特点多曝光图像融合

(multi-exposure image fusion)
MEF dataset

该数据集从两类场景（室内和室外）收集多曝光序列多聚焦图像融合

(multi-focus image fusion)
Lytro dataset

该数据集使用Lytro摄像机改变特定视角下的聚焦深度，以获得具有不同聚焦区域的数字图像红外和可见光图像融合

(infrared and visible image fusion)
TNO3 dataset

主要描述各种军事相关场景医学图像融合

(medical image fusion)
Harvard4 medical school website

来自哈佛医学院网站，其中包括大脑半球的不同横轴部分多光谱锐化

(multi-spectral sharpening)QuickBird dataset多光谱图像包含4个波段高光谱锐化

(hyperspectral sharpening)
Cave5 dataset

高光谱图像包含31个波段

1、定性和定量评估（Qualitative and quantitative evaluation）

• 定性评估：每个图像融合任务选择 两个典型的可视化结果，其中突出显示相关区域以反映差异。【见每种融合任务后面的图片】
• 定量评估：根据每个融合场景的特点选择了 4个流行的客观指标。【见下表】
  
• 实验结果与启发：
• 数字摄影图像融合：DeepFuse、GANFuse、CNN和MMF Net都取得了较好的性能。→ 由此引出了两条进一步提高深度学习性能的途径。一个是为无监督学习设计更高质量的非参考度量，另一个是为监督训练构建更符合实际情况的数据。
• 多模态图像融合：一些统一（Unified）的方法，如PMGI和U2Fusion甚至比专门设计的方法更好。→ 这一现象表明，寻求图像融合场景的共性来建立通用模型是非常有前景的。
• 锐化融合：获得更好性能的方法的共同特征是它们充分考虑了融合结果和源图像在空间或光谱维度上的关系，例如GTP- PNET和GDD。→ 这种现象鼓励后续研究更多地关注空间和光谱退化模型的估计。

; 2、效率评估（Efficiency evaluation）

• 对于基于深度学习的融合方法，运行效率是衡量融合性能的重要因素。上述典型方法的运行时间结果如下表所示。
• 实验结果：统一融合方法PMGI、基于GAN的MFF-GAN、基于CNN的PNN和CuCaNet实现了较高的运行效率，
• 实验分析：这些方法都具有相对简单的网络结构，从而确保了低数量的模型参数。在简单的网络结构下，设计更适合任务特征的约束和优化方法可以获得精度和效率的双重收获。
• 实验启发：这启示后续的研究应该更多地关注图像融合任务本身的特点，而不是盲目地增加神经网络的规模。
  

四、应用（Applications）

• 图像融合可以有效地整合来自不同源图像的信息，为下游任务提供更有用的输入，从而提高这些应用的性能。
• 我们将简要介绍几种典型的应用，如 摄影可视化、目标跟踪、医学诊断和遥感监测，可以直观地展示图像融合的重要性。

1、摄影可视化（Photography visualization）

• 背景：摄影可视化是为了更好地显示数字成像设备的捕获结果，致力于改善用户的视觉体验。然而，数字成像设备通常具有预定义的景深和有限的动态范围，这意味着设备直接输出的图像可能不是我们想要的图像。
• 应用：图像融合可以结合在不同拍摄设置下捕获的图像中的有效信息，生成具有适当曝光的全聚焦图像，这大大提高了摄影质量。目前，图像融合技术已经集成到一些数字成像设备中，包括相机、手机等。
  

; 2、RGBT目标跟踪（RGBT object tracking）

• 对象跟踪：是在视频的后续帧中查找当前帧中定义的感兴趣对象。
• 方法：
• 单模跟踪：如基于可见光模态的跟踪和基于红外模态的跟踪。然而，由于单模表示的局限性，这些跟踪方法的鲁棒性较差。
  
  • 可见图像的质量取决于成像环境，这意味着在夜间或光线条件较差的情况下无法保证目标跟踪的性能。
  • 红外图像缺少纹理，场景立体感较差，在某些情况下也不可靠。
• RGBT跟踪：它融合了红外图像和可见图像中的互补信息，使目标跟踪更加鲁棒。常见的RGBT跟踪方法包括基于稀疏表示的方法、基于图形的方法、基于相关滤波器的方法和基于深度学习的方法。
  

• 无论采用哪种方法，在融合过程中 保持有效的目标信息都是实现高质量RGBT跟踪的关键。
• 换句话说，融合后的结果可以在红外模式下保留目标的显著性，同时在可见光模式下保留目标的纹理细节，这将使跟踪精度更高。
  

3、医学诊断（Medical diagnosis）

• 背景：
• 绝大多数的医学诊断都是通过计算机或医生分析医学图像进行的。不同模式下医学图像的成像机制不同，它们对描述身体信息的重视程度也不同。
• 常见的医疗模式包括计算机断层扫描（CT）、磁共振成像（MRI）、正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）和超声。
• 其中，一些模式侧重于描述器官和组织的结构（the structure of organs and tissues），而另一些模式侧重于描述区域代谢的强度（the intensity of regional metabolism）。
• 应用：
• 融合不同模式的医学图像将大大提高诊断的准确性和效率，同时减少冗余信息并提高图像质量。
  

• 一些疾病不仅会导致组织的物理形态发生变化，还会增加局部代谢的强度，例如肿瘤。因此，功能和结构医学图像的结合可以提高这些疾病的诊断准确性。
• 医学图像融合可以促进疾病判定和病变定位的同步实现，大大提高诊断效率，节省后续治疗时间。
• 正是由于这些吸引人的优点，图像融合已经被集成到一些医疗诊断设备中，以帮助边疆医务工作者实现高质量的诊断。
  

; 4、遥感监测（Remote sensing monitoring）

• 背景：
• 遥感监测是指通过分析高光谱/多光谱图像对陆地、海洋和天气的观测和调查。
• 常用的遥感监测任务包括土地覆盖分类、植被检测、矿产勘查等。
• 然而，光谱分辨率和空间分辨率不能同时实现。也就是说，高光谱/多光谱影像的空间分辨率较低，制约了遥感监测精度的进一步提高。
• 应用：
• 锐化融合可以在保持光谱分辨率的同时提高空间分辨率。
• 因此，技术人员引入了图像融合技术对遥感图像进行预处理，大大提高了相关监测任务的性能。
• 目前，锐化融合技术已成功应用于数字地球建模和土地覆盖制图等任务，具有良好的实用价值。
  

五、总结和展望（Conclusion and prospect）

图像融合作为一种增强技术，在 摄影可视化、目标跟踪、医学诊断和遥感监测等领域发挥着重要作用。近年来，越来越多的 基于深度学习的图像融合方法被提出以提高融合性能。为了给相关研究人员和技术人员提供有效的参考和理解，本次调查全面分析了图像融合领域最新的基于深度学习的方法。结合具体的图像融合场景，讨论了各种方法的特点，并提出了进一步改进的方向。此外，我们还对每个融合任务中具有代表性的方法进行了 性能比较，并介绍了图像融合的一些 典型应用。尽管已经通过深入学习为图像融合做出了广泛的努力，但仍然存在一些 开放的挑战。

1、非配准图像融合（Non-registered image fusion）

图像配准：参考：图像配准-百度百科

• 目前，在几乎所有的图像融合任务中，基于深度学习的方法都假设源图像是 预配准的（pre-registered）。然而，由于视差、比例尺差等实际场景因素，多模态图像和数字摄影图像都 没有进行配准（non-registered）。
• 因此，现有的深度学习方法无法对真实源图像进行沿空间像素位置的操作。虽然可以使用许多现成的方法对源图像进行预配准，但依赖于 配准算法的预处理可能会导致一定的局限性，如效率低和依赖于配准精度。
• 因此，开发无配准融合算法，以隐式的方式实现图像的配准与融合是很有必要的。

2、不同分辨率的图像融合（Different resolution image fusion）

• 由于传感器原理的不同，源图像的分辨率也不同。
• 如何克服分辨率差异，充分利用不同来源图像的信息，实现有效的融合是一个挑战。
• 虽然提出了一些方法，如采用的上采样策略和网络中的上采样定位，来解决不同分辨率的图像融合问题，但仍然存在一些问题。
• 更重要的是，希望通过将超分辨率和图像融合任务的特性有机地结合起来，来设计深度网络。

3、面向任务的图像融合（Task-oriented image fusion）

• 图像融合的初衷是为后续应用提供更有利的输入。
• 然而，在许多图像融合任务中，现有的基于深度学习的方法在设计损失函数时不考虑融合和后续应用之间的相关性，这往往导致非常主观的融合结果。
• 未来的研究可以考虑将后续任务的精度引入融合阶段的损失函数设计中，以将融合过程从决策层引导。

4、实时图像融合（Real-time image fusion）

• 从应用需求的角度来看，图像融合是许多视觉任务的先导，其性能直接影响到整个任务的准确性。一些实际应用对算法的实时性有很高的要求。
• 然而，现有的图像融合方法中存在着复杂的变换分解和迭代优化问题，运算效率较低，限制了图像融合在视频监控等实时任务中的应用。
• 因此，开发实时图像融合算法具有重要意义，这将使图像融合具有更广阔的应用前景。

5、融合质量评估（Fusion quality assessment）

• 由于在大多数图像融合任务中没有标准答案（ground truth），所以对融合结果的质量进行评估是一项非常具有挑战性的工作。
• 因此，设计具有 更强表征能力的无参考指标（no-reference metrics with more characterization ability） 在图像融合领域是非常重要的。
• 一方面，所提出的度量可用于构造损失函数以指导更高质量的融合。另一方面，新设计的度量也可以公平地评估融合结果，以鼓励后续的融合研究。 距离度量学习可能是融合质量评估的一个很好的选择。

基于以上的回顾和展望，我们还没有达到图像融合的上限。无配准融合方法对真实数据具有较强的鲁棒性；不同分辨率的图像融合可以克服尺度差异；面向任务的融合方法更具实用价值；实时图像融合具有广阔的应用前景；更高质量的融合评估指标能够提高融合性能。让我们拭目以待。

Original: https://blog.csdn.net/weixin_44002829/article/details/121243250
Author: 浅若清风cyf
Title: 论文笔记（综述）——Image fusion meets deep learning: A survey and perspective