本发明属于图像处理,具体涉及一种感兴趣区域图像增强的可见光红外图像融合方法及装置。
背景技术:
1、红外与可见光融合是计算机视觉领域的一个重要技术方向,在图像处理中扮演着至关重要的角色。该技术通过巧妙地整合红外图像的热辐射敏感性和可见光图像的丰富外观信息,为复杂多变的监测与分析任务提供了一种有效的解决方案。
2、然而,当前的融合策略普遍对全图进行融合,缺少对图像中感兴趣区域图像的关注,往往导致感兴趣区域图像融合效果不佳或遗漏该区域。同时,全图融合可能会引入大量非感兴趣区域图像的背景噪声和不相关信息,还可能掩盖或干扰感兴趣区域图像的重要特征,从而降低融合图像的质量和信息价值,影响后续下游任务分析,成为制约系统整体性能提升的瓶颈。
技术实现思路
1、本发明实施例提供了一种感兴趣区域图像增强的可见光红外图像融合方法及装置,可以解决当前将全图作为一个整体进行融合的图像融合方案未突出感兴趣区域的问题。
2、第一方面,本发明实施例提供了一种感兴趣区域图像增强的可见光红外图像融合方法,所述方法包括:
3、将待融合的图像组输入训练好的显著性检测网络,得到图像组的感兴趣区域图像,其中,图像组包括至少一对拍摄内容相同但表现形式不同的红外图像和可见光图像,图像组的感兴趣区域图像有一定概率包括关键信息;
4、将待融合的图像组和图像组的感兴趣区域图像分别输入至训练好的全局孪生掩码自编码器和训练好的感兴趣区域孪生掩码自编码器,得到融合后的全局图像及融合后的感兴趣区域图像;
5、其中,全局孪生掩码自编码器、感兴趣区域孪生掩码自编码器是根据样本图像组及样本图像组对应的标准融合图像的文本特征训练的,文本特征用于描述图像中的关键特征信息和目标信息;
6、拼接融合后的感兴趣区域图像和融合后的全局图像得到目标融合图像。
7、第二方面,本发明实施例提供了一种感兴趣区域图像增强的可见光红外图像融合装置,所述装置包括:
8、显著性检测模块,显著性检测模块包括显著性检测网络,显著性检测模块用于将待融合的图像组输入训练好的显著性检测网络,得到图像组的感兴趣区域图像,其中,图像组包括一对拍摄内容相同但表现形式不同的红外图像和可见光图像,图像组的感兴趣区域图像有一定概率包括关键信息;
9、特征提取融合模块,特征提取融合模块包括全局孪生掩码自编码器、感兴趣区域孪生掩码自编码器,特征提取融合模块用于将待融合的图像组和图像组的感兴趣区域图像分别输入至训练好的全局孪生掩码自编码器和训练好的感兴趣区域孪生掩码自编码器,得到融合后的全局图像及融合后的感兴趣区域图像;
10、其中,全局孪生掩码自编码器、感兴趣区域孪生掩码自编码器是根据样本图像组及样本图像组对应的标准融合图像的文本特征训练的,文本特征用于描述图像中的关键特征信息和目标信息;
11、拼接重构模块,拼接重构模块用于拼接融合后的感兴趣区域图像和融合后的全局图像得到目标融合图像。
12、本发明实施例与现有技术相比存在的有益效果是:根据本发明提供的方法,通过显著性检测网络检测出感兴趣区域图像,分别融合两种图像的全局和感兴趣区域后再将融合后的全局图像和融合后的感兴趣区域图像进行融合得到目标融合图像,能够在融合的过程中重点关注目标和关键特征,减少非感兴趣区域中背景噪声和无关细节对融合过程的影响,增强目标融合图像的融合精度和效果;通过文本特征训练孪生掩码自编码器能够增强模型对感兴趣区域的特征提取能力,进一步增强融合效果。
1.一种感兴趣区域图像增强的可见光红外图像融合方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,结构相同的所述全局孪生掩码自编码器和所述感兴趣区域孪生掩码自编码器均包括:非对称掩码模块、第一编码器、第二编码器、交叉注意力模块、解码器;
3.根据权利要求2所述的方法,其特征在于,所述对所述第一编码器的输出结果和所述第二编码器的输出结果进行两组交叉自注意力操作,融合红外图像的特征和可见光图像的特征得到第一组融合结果和第二组融合结果,包括:
4.根据权利要求1所述的方法,其特征在于,所述全局孪生掩码自编码器及所述感兴趣区域孪生掩码自编码器的训练方法包括:
5.根据权利要求4所述的方法,其特征在于,所述对比学习损失满足下述公式:
6.根据权利要求4所述的方法,其特征在于,所述孪生编码器损失由结构相似性损失、纹理损失和强度损失构成。
7.根据权利要求6所述的方法,其特征在于,所述强度损失满足下述公式:
8.根据权利要求6所述的方法,其特征在于,所述结构相似性损失满足下述公式:
9.根据权利要求6所述的方法,其特征在于,纹理损失函数表示为:
10.一种感兴趣区域图像增强的可见光红外图像融合装置,其特征在于,包括:
