企业官网建设流程全解析

作者：Hengshuai Cui, Wenda Zhao, Member, IEEE, Haipeng Wang, Jun Yan, and Hao Liu

摘要

现有的融合方法整合源图像中的互补信息以生成混合模态融合图像，这会导致视觉上模糊的表征，从而降低下游任务（如分割和检测）的性能。因此，我们从模态不变的角度重新思考红外与可见光图像融合，重建两幅真实模态融合图像（RealFusion），并解决跨模态特征鸿沟和模态不一致这两个挑战。首先，我们引入场景提示生成，利用语义分割任务从源图像中提取整体场景信息，从而弥合可见光与红外特征之间的鸿沟。其次，我们设计了一种真实模态融合图像重建方法，在嵌入空间与各模态特定空间之间构建模态引导向量作为投影方向，从而将融合特征投影到各自的模态空间。这样，融合网络被迫从真实模态图像中学习一致的表示，使融合结果保持模态不变。此外，我们引入差分交互融合模块，将红外和可见光特征显式地建模为共性和差分分量，然后动态增强差分信息以获得互补的融合表示。在四个数据集上的大量实验表明，RealFusion 在融合任务和下游分割任务上均优于最先进的方法。代码将发布于：https://github.com/HengshuaiCui/RealFusion

索引词——红外与可见光图像融合，场景提示生成，差分交互融合，真实模态融合图像重建。

I. 引言

红外与可见光图像融合（IVIF）旨在整合来自两种不同模态的互补信息，从而生成具有高对比度和丰富纹理细节的融合结果。近年来，IVIF 越来越多地应用于复杂场景，尤其是恶劣天气