本发明属于计算机视觉红外与可见光图像融合领域，具体涉及一种基于梯度增强和重聚焦的红外与可见光图像融合方法。
背景技术：
1、图像融合是一种将不同类型的图像融合为单幅信息图像的技术。而在图像融合领域，红外与可见光图像融合是一项重要的技术，旨在将来自红外与可见光图像的信息进行融合，以产生更全面和丰富信息的融合图像。红外图像和可见光图像分别采集不同光照条件下的信息，可以相互补充，从而提供更全面的视觉信息。
2、在过去的几十年里，研究者们开发了众多图像融合方法，既包括传统技术，又涵盖了近期基于深度学习的创新方法。传统方法主要分为五类：基于多尺度变换的方法、基于稀疏表示的方法、基于子空间的方法、基于优化的方法以及混合方法。而基于深度学习的方法则主要包括基于自动编码器框架的方法、基于卷积神经网络框架的方法，以及基于生成对抗性网络框架的方法。但有些方法利用单一的网络结构来直接生成融合图像。虽然这种方法有时能得到令人期待的结果，但简单的网络结构可能无法有效地保留有用的细节。
3、tang l等人在image fusion in the loop ofhigh-level vision tasks:asemantic-aware real-time infrared andvisible image fusion network[j].information fusion,2022,82:28-42.中提出了一种语义感知实时图像融合网络(seafusion)，该框架在图像融合和高级视觉任务中都能有效地获得优异的性能。并且他们还设计了梯度残差密集块(grdb)，以增强融合网络对细粒度空间细节的描述能力。在语义损失的指导下整合源图像中的有意义信息，生成包含丰富语义信息的融合图像。seafusion在语义损失的指导下整合源图像中的有意义信息，生成包含丰富语义信息的融合图像，并且由于梯度残差密集块的强大描述能力，合成的融合图像包含丰富的纹理细节。但他们的梯度残差密集块深度不够，导致某些融合图像深度特征提取不充分。
4、cai z等人在refconv:re-parameterizedrefocusing convolution forpowerful convnets[j].arxivpreprint arxiv:2310.10563,2023.中提出了一种可重参数化的重聚焦卷积(refconv)，作为常规卷积层的即插即用替代品，能够在不引入额外推理成本的情况下显著提高基于cnn的模型性能。refconv将可训练的重新聚焦变换应用于从预训练模型继承的基础内核，以在参数之间建立连接。其利用预训练参数编码的表示作为先验，通过重新聚焦这些参数来学习新的表示，进一步增强了模型结构的先验，提升了预训练模型的表示能力。但refconv的泛化能力不足，需要针对不同的应用场景进行特定的调整。
技术实现思路
1、发明目的：为解决现有技术的不足，本发明提出一种基于梯度增强和重聚焦的红外与可见光图像融合方法，设计了梯度增强模块，提高网络对边缘纹理信息的提取保留能力；使用再参数化重聚焦卷积取代传统卷积，不增加推理成本的情况下，显著提高模型的性能。
2、技术方案：本发明公开一种基于梯度增强和重聚焦的红外与可见光图像融合方法，包括以下步骤：
3、(1)将红外图像输入到梯度增强模块(grb)和重聚焦密集连接块组合形成的深度特征提取器，得到特征i1；
4、(2)将可见光图像输入到梯度增强模块(grb)和重聚焦密集连接块组合形成的深度特征提取器，得到特征i2；
5、(3)将特征i1和特征i2进行级联，得到特征i3；
6、(4)将特征i3输入到三个复合卷积层(rc1)，以及一个复合卷积层(rc2)，以实现特征聚合和图像重建，得到融合图像if。
7、进一步的，所述步骤(1)的具体方法为：
8、(101)将输入的红外图像读取为灰度图像，然后将灰度图像缩放到统一尺寸256×256；
9、(102)将缩放后的灰度图像输入到梯度增强模块中，通过索贝尔算子和1×1重聚焦卷积层处理输入图像，得到特征c1；另一方面，通过重聚焦密集连接块和1×1重聚焦卷积层处理输入图像，得到特征c2；
10、(103)将特征c1和c2进行相加操作，得到c3，再将c3经过重聚焦密集连接块，得到特征i1；
11、进一步的，所述步骤(2)的具体方法为：
12、(201)将输入的可见光图像读取为灰度图像，然后将灰度图像缩放到统一尺寸256×256；
13、(202)将缩放后的灰度图像输入到梯度增强模块中，通过索贝尔算子和1×1重聚焦卷积层处理输入图像，得到特征b1；另一方面，通过重聚焦密集连接块和1×1重聚焦卷积层处理输入图像，得到特征b2；
14、(203)将特征b1和b2进行相加操作，得到b3，再将b3经过重聚焦密集连接块，得到特征i2。
15、进一步地，所述复合卷积层rc1具体由3×3重聚焦卷积层和带泄露线性整流函数构成。
16、进一步地，所述复合卷积层rc2由1×1重聚焦卷积层以及双曲正切激活函数构成。
17、有益效果：
18、本发明设计合理，其使用深度卷积神经网络模型，以提取图像深度特征和细节信息，实现图像融合。为了更全面地获取图像信息，特别设计了梯度增强模块，它可以提高网络对边缘纹理信息的提取保留能力；在模型性能提升方面，使用再参数化重聚焦卷积取代传统卷积，可以不增加推理成本的情况下，显著提高模型的性能。
1.一种基于梯度增强和重聚焦的红外与可见光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于梯度增强和重聚焦的红外与可见光图像融合方法，其特征在于：所述步骤(1)的具体方法包括以下步骤：
3.根据权利要求1所述的基于梯度增强和重聚焦的红外与可见光图像融合方法，其特征在于：所述步骤(2)的具体方法包括以下步骤：
4.根据权利要求1所述的基于梯度增强和重聚焦的红外与可见光图像融合方法，其特征在于：所述复合卷积层rc1具体由3×3重聚焦卷积层和带泄露线性整流函数构成。
5.根据权利要求1所述的基于梯度增强和重聚焦的红外与可见光图像融合方法，其特征在于：所述复合卷积层rc2由1×1重聚焦卷积层以及双曲正切激活函数构成。
