PIAFusion
*
– 1. 论文基本信息
– 2. 摘要
– 3. 背景
–
+
* 现有方法的不足
* 提出新方法
– 4. 方法具体实现
–
+ （一）网络
+
* 1.光照感知
* 2.差异感知融合
* 3.渐进式（中途）融合
* 4.特征提取
* 5.图像融合和重构
+ （二）损失函数
– 5. 实验
–
+ （一）数据集的构建、实验配置和实现细节
+ （二）一些比较实验和泛化实验来证明我们算法的优越性
+ （三）分析不同方法的运行效率。
+ （四）此外，我们不仅展示了我们的自适应特征选择方法的能力，还展示了我们的方法在高级视觉任务中的潜力。
+
* （1）自适应特征选择
* （2）语义分割
+ （五）进行了一些消融研究以验证我们特定设计的有效性，包括光照感知损失和跨模态差异感知融合模块。
– 6. 收获
1. 论文基本信息
标题：PIAFusion: A progressive infrared and visible image fusion network based on illumination aware
发表时间：2022
期刊：Information Fusion
作者：Linfeng Tang1, Jiteng Yuan1, Hao Zhang, Xingyu Jiang, Jiayi Ma
2. 摘要
红外和可见图像融合旨在合成单个融合图像，即使在极端光照条件下也包含显着目标和丰富的纹理细节。然而，现有的图像融合算法未能在建模过程中考虑光照因素。
在本文中，我们提出了一种基于光照感知的渐进式图像融合网络，称为 PIAFusion，它自适应地保持显着目标的强度分布并保留背景中的纹理信息。具体来说，我们设计了一个光照感知子网络来估计光照分布并计算光照概率。此外，我们利用光照概率构建光照感知损失来指导融合网络的训练。跨模态差分感知融合模块和中途融合策略在光照感知损失的约束下完全融合了共同和互补的信息。
此外，还发布了新的红外和可见光图像融合基准数据集，即多光谱道路场景（https://github.com/Linfeng-Tang/MSRS），以支持网络训练和综合评估。大量实验证明了我们的方法在目标维护和纹理保存方面优于最先进的替代方法。特别是，我们的渐进式融合框架可以根据光照条件全天候整合来自源图像的有意义的信息。此外，语义分割的应用展示了我们的 PIAFusion 在高级视觉任务中的潜力。我们的代码将在 https://github.com/Linfeng-Tang/PIAFusion 上提供。
3. 背景
现有方法的不足
尽管数据驱动的图像融合方法可以合成相对令人满意的融合结果，但仍有一些障碍值得强调。
（1）首先，红外和可见光图像融合社区目前缺乏用于训练鲁棒融合网络的大型基准数据集。主流数据集，即TNO 数据集 [29]和 RoadScene 数据集 [30]包括一些具有简单场景的图像对，特别是 TNO 数据集。在这些数据集上训练的融合网络容易过度拟合，无法应对更复杂的场景。因此，开发具有大量图像对的新基准数据集用于红外和可见图像融合是很有希望的。
（2）此外，还存在一个关键问题，即，照明不平衡从未被研究过。照明不平衡是指白天和夜间场景之间照明条件的差异 [31]。直观地说，我们提供了一个示例来呈现图 2中的光照不平衡，可以观察到可见图像比红外图像具有更清晰的纹理细节，但红外图像在白天可以突出明显的行人。相比之下，红外图像比夜间的可见图像提供了更多的显着目标和更丰富的纹理。不幸的是，现有的方法
Original: https://blog.csdn.net/qq_38766127/article/details/126961701
Author: 越过小山丘
Title: PIAFusion
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/804017/
转载文章受原作者版权保护。转载请注明原作者出处！