本发明涉及图像融合领域,尤其是一种结合过曝先验与注意力机制的红外与可见光图像融合方法及设备、存储介质。
背景技术:
1、随着科技的不断进步和数字摄影技术的普及,人们对于图像质量的要求也越来越高,如何应用图像处理技术来改善图像的质量已经成为一个重要的研究热点。在数字摄影中,受到户外光照与设备等各种因素的影响,通常会导致拍摄的图像中部分区域的亮度过高,出现细节丢失和色彩失真的现象,从而影响图像的整体视觉效果。因此,这成为了摄影后期处理中的重要环节,通过应用去过曝光技术,尽可能地保留图像中的细节信息和原始色彩,确保图像的质量。
2、在现有技术中,基于数字图像增强的去过曝光算法,通常是从图像灰度级角度来调整图像过曝区域的亮度,从而提高图像整体的对比度。然而这些方法可能会导致图像出现过度增强的情况,使得图像看起来不自然或出现伪影。另外,对于一些细节丢失严重的图像,这些方法可能无法完全恢复丢失的细节。基于多曝光图像融合的去过曝光算法,通常是合并多张曝光度不同的图像来获得丰富的细节,以恢复过曝光图像中丢失的细节。
技术实现思路
1、本发明的目的是提供一种结合过曝先验与注意力机制的红外与可见光图像融合方法及检测系统、制备系统,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
2、为了解决上述问题,在本发明的第一方面的一些实施例中,提供一种结合过曝先验与注意力机制的红外与可见光图像融合方法,包括:
3、获取待融合的第一图像和第二图像,所述第一图像为红外光图像,所述第二图像为过曝的可见光图像;
4、利用自适应阈值算法,构建过曝先验模块,将注意力机制和所述过曝先验模块引入融合网络模型中,得到过曝图像融合模型;
5、利用所述过曝图像融合模型对所述第一图像和第二图像进行融合处理,得到融合图像。
6、进一步,所述过曝图像融合模型包括过曝先验模块、曝光削弱模块、双分支注意力编码模块和解码融合模块;
7、所述过曝先验模块用于利用自适应阈值算法,确定第二图像中的过曝区域,利用高斯核函数处理过曝区域,得到曝光权重图;
8、所述曝光削弱模块用于将曝光权重图与第一图像点乘得到的第三图像和第二图像与归一化的曝光权重图点乘得到的第四图像进行拼接融合,得到输入特征图;
9、所述双分支注意力编码模块用于根据所述输入特征图,提取出第一特征图、通道维度上的第二特征图和空间维度上的第三特征图,叠加第一特征图、第二特征图和第三特征图,得到第四特征图;
10、所述解码融合模块用于根据第四特征图进行特征重建降维,得到所述融合图像。
11、进一步,所述曝光权重图的获得过程具体包括:
12、将所述第二图像从rgb颜色模型转换为hsv颜色模型,对v通道的像素进行初步曝光判定,确定在v通道上的过曝像素;
13、当v通道的像素完成曝光判定后,计算颜色相关饱和阈值,根据颜色相关饱和阈值对s通道的像素进行曝光判定,确定在s通道上的过曝像素;
14、根据所述第二图像,设置第一掩码图像,根据v通道和s通道的过曝像素,对第一掩码图像上对应掩码区域的像素置为255,得到含有过曝区域的第二掩码图像;
15、根据所述过曝区域的边界,拟合出边界圆,利用高斯核函数,对边界圆赋值并叠加至所述过曝区域中,得到所述曝光权重图。
16、进一步,所述输入特征图的获得过程具体包括:
17、将所述第一图像与曝光权重图点乘,得到第三图像;
18、根据所述第二图像,设置第三掩码图像,将第三掩码图像与曝光权重图相减,得到归一化的曝光权重图,将归一化的曝光权重图与第二图像点乘,得到第四图像;
19、将所述第三图像和第四图像拼接成双通道,融合得到所述输入特征图。
20、进一步,所述第一特征图的获得过程具体包括:
21、将双通道的所述输入特征图转为十六通道,并通过lrelu函数进行非线性激活,提取到浅层特征信息,得到第一特征图;
22、其中,所述第一特征图包括可见光特征图和红外光特征图,所述双分支注意力编码模块包括通道注意力模块和空间注意力模块。
23、进一步,所述第二特征图的获得过程具体包括:
24、根据所述第一特征图,从可见光特征图中提取纹理特征,从红外光特征图中提取显著目标分布特征;
25、对所述浅层特征信息、纹理特征和显著目标分布特征输入至通道注意力模块,通道注意力模块输出通道注意力权重图;
26、将所述通道注意力权重图与所述浅层特征信息、纹理特征和显著目标分布特征相乘,得到所述第二特征图。
27、进一步,所述第三特征图的获得过程具体包括:
28、根据所述第一特征图,从可见光特征图中提取纹理特征,从红外光特征图中提取显著目标分布特征;
29、对所述浅层特征信息、纹理特征和显著目标分布特征输入至空间注意力模块,空间注意力模块输出空间注意力权重图;
30、将所述空间注意力权重图与所述浅层特征信息、纹理特征和显著目标分布特征相乘,得到所述第三特征图。
31、进一步,所述解码融合模块包括窗口多头注意力机制模块和多层感知机模块,所述根据第四特征图进行特征重建降维的过程具体包括:
32、对所述第四特征图进行层归一化操作,得到第五特征图,将第五特征图输入至窗口多头注意力机制模块,窗口多头注意力机制模块输出第六特征图;
33、将所述第六特征图和第四特征图相加,形成残差连接,残差输出的第七特征图再进行层归一化操作和多层感知机模块的非线性处理,得到第八特征图;
34、将所述第八特征图与第七特征图进行残差连接,残差输出的第九特征图,将所述第九特征进行降维,并通过tanh函数激活,输出所述融合图像。
35、在本发明的第二方面的一些实施例中,一种电子设备,包括:
36、存储器,存储有计算机程序;
37、处理器,所述处理器执行所述计算机程序时实现本发明的第一方面的结合过曝先验与注意力机制的红外与可见光图像融合方法。
38、在本发明的第三方面的一些实施例中,一种存储介质,其上存储计算机程序,其特征在于,所述计算机程序被处理器执行时实现本发明的第一方面的结合过曝先验与注意力机制的红外与可见光图像融合方法。
39、本发明的有益效果:将通过自适应阈值算法构建的过曝先验模块和注意力机制结合引入,以得到过曝图像融合模型,利用该模型对含有过曝区域的可见光图像和红外光图像进行融合处理,得到低曝光的融合图像,以实现在重新加权待融合图像中过曝区域的占比,削弱曝光度,避免融合图像在过曝区域边缘出现明显的轮廓线同时,也能够在特征提取阶段增强图像在全局到局部关联性和模型的深层特征提取能力,并在特征融合与重建阶段,可以构建特征间长距离关系,更好的保留全局互补信息;通过两者结合,在最大程度上恢复图像丢失的细节信息,与现有技术相比,本发明的图像融合方法输入图像量少,算法简捷,应用场景广泛,能够有效提高图像融合中的去曝光效率和提高融合图像的视觉质量和感知效果。
1.一种结合过曝先验与注意力机制的红外与可见光图像融合方法,其特征在于,包括:
2.根据权利要求1所述的结合过曝先验与注意力机制的红外与可见光图像融合方法,其特征在于,所述过曝图像融合模型包括过曝先验模块、曝光削弱模块、双分支注意力编码模块和解码融合模块;
3.根据权利要求2所述的结合过曝先验与注意力机制的红外与可见光图像融合方法,其特征在于,所述曝光权重图的获得过程具体包括:
4.根据权利要求2所述的结合过曝先验与注意力机制的红外与可见光图像融合方法,其特征在于,所述输入特征图的获得过程具体包括:
5.根据权利要求2所述的结合过曝先验与注意力机制的红外与可见光图像融合方法,其特征在于,所述第一特征图的获得过程具体包括:
6.根据权利要求5所述的结合过曝先验与注意力机制的红外与可见光图像融合方法,其特征在于,所述第二特征图的获得过程具体包括:
7.根据权利要求5所述的结合过曝先验与注意力机制的红外与可见光图像融合方法,其特征在于,所述第三特征图的获得过程具体包括:
8.根据权利要求2所述的结合过曝先验与注意力机制的红外与可见光图像融合方法,其特征在于,所述解码融合模块包括窗口多头注意力机制模块和多层感知机模块,所述根据第四特征图进行特征重建降维的过程具体包括:
9.一种计算机设备,其特征在于,包括:
10.一种存储介质,其上存储计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的结合过曝先验与注意力机制的红外与可见光图像融合方法。
