本发明属于图像融合领域，具体涉及一种基于细节协同模块及知识重放的连续学习的图像融合方法。
背景技术：
1、目前，由于天气、环境、摄像设备等因素的综合影响，在图像采集和传输中很难获得高质量的图像。因此，图像包含大量噪声，无法准确描述图像中的对象，影响了对图像后续的应用。为了解决这些问题已经引入了各种图像处理技术来提高图像质量，例如降噪、光照滤波、图像增强、图像融合等等。其中，图像融合按照特定的规则处理多幅图像，理解图像之间的互补信息，最大程度地提高图像质量。与其他图像处理技术相比，图像融合具有不可否认的优势，一直是图像处理领域的研究热点，受到了许多学者的关注，同时进行大量的相关算法进行研究。
2、在现实生活中，由于成像原理或光学器件的限制，用一种类型的传感器或一个单一的拍摄设置拍摄的图像只能捕获一部分信息。对于数字摄影图像，数码相机拍摄的图像只能清晰地呈现在预定义景深中的场景，图像预定义景深外的部分出现的离散模糊的效应会产生不清晰的语意，而低动态范围的限制使图像相比自然场景会产生较差的视觉效果。红外传感器通过捕获物体散发的热辐射信息成像,能够有效地突出行人、车辆等显著目标，但是缺乏对场景的细节描述。可见光图像通常包含丰富的纹理细节信息，但却容易遭受极端环境和遮挡的影响而丢失场景中的目标。这些单一传感器产生的图像均存在内容的不完整，对下游计算机视觉任务造成严重的影响。
3、同时随着信息技术的不断发展，各种数据呈现爆炸式的增长，传统的机器学习算法只有当测试数据与训练数据分布类似时，学习算法才能取得较好的性能，它们不能在动态环境中连续自适应地学习，然而，这种自适应学习的能力却是任何智能系统都具备的特性。深度神经网络在许多应用中显示出最好的学习能力，然而，使用该方法对数据进行增量更新学习时，会面临灾难性的干扰或遗忘问题，导致模型在学习新任务之后忘记如何解决旧任务。为了解决这个问题，已经有了许多致力于解决灾难性遗忘的问题包括权重正则化，函数正则，同时也有许多图像融合算法的推出，但仍存在如下问题。
4、当前的通用图像融合方法为了适用于不同的融合任务，弱化了对任务本身特性的关注，而寻求更具有泛化能力的特征建模方式。这样导致的后果是通用融合框架往往会产生比用于处理单个任务的框架更差的性能。
5、灾难性遗忘：现有的通用图像融合框架大多是设计为适用于融合任务，但没有考虑到连续处理一系列的图像融合任务，在面对不断输入的不同融合任务的图片，网络会出现灾难性遗忘。u2fusion利用ewc正则化的方式保留对之前任务更重要的参数以保留处理之前任务的能力，但这种策略的问题是模型容量是固定的，惩罚损失会使模型的可塑性随着旧任务的增加而降低。
技术实现思路
1、为解决上述技术问题，本发明提供了一种基于细节协同模块及知识重放的连续学习的图像融合方法，包括：
2、步骤1：准备图像数据集，并对所述图像数据集进行预处理；
3、所述图像数据集包括红外-可见光图像的数据集、多曝光图片的数据集以及多聚焦图片的数据集；
4、步骤2：构建用于处理所述图像数据集融合任务的统一图像融合网络；
5、所述统一图像融合网络由共享特征编码器、基于transformer的基础特征编码器、基于cnn的细节特征编码器、基础特征融合层、细节特征融合层和基于restormer的特征解码器组成；
6、步骤3：构建基于跨任务细节协同模块以及知识重放的知识蒸馏框架，根据构建的所述知识蒸馏框架处理统一图像融合网络输出的数据；
7、所述知识蒸馏框架由用于图像融合连续学习的知识蒸馏、跨任务细节协同模块和基于梯度的样本筛选机制组成。
8、本发明的有益效果：
9、本发明针对现有的图像融合任务在处理连续任务时出现的灾难性遗忘的问题，设置便于知识重放的记忆池，并且基于梯度的筛选机制选取样本，提高记忆池样本多样性；同时利用知识蒸馏的方式使旧知识能够更好得迁移到新模型中，使得图像融合任务能够对抗灾难性遗忘。
1.一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，包括：
2.根据权利要求1所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，对图像数据集进行预处理，包括：
3.根据权利要求1所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，所述共享特征编码器将待融合的两张图片作为输入，首先通过3×3的卷积核进行卷积操作分别将两张图片的通道数扩充，再通过4个transformer块得到初步图像特征。
4.根据权利要求1所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，所述基于transformer的基础特征编码器以共享特征编码器的输出作为输入，首先将初步图像特征经过带有偏置的层归一化模块，对每个特征进行归一化处理，再对归一化后的特征计算多头通道注意力，将输入特征通过多个不同的通道注意力头进行线性变换，得到不同的查询、键和值，对每个注意力头计算注意力权重，然后通过softmax函数进行归一化，得到每个特征维度上的注意力权重，使用注意力权重对值进行加权求和，得到多头通道注意力的输出，即得到基础特征。
5.根据权利要求1所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，所述基于cnn的细节特征编码器以共享特征编码器的输出作为输入，基于cnn的细节特征编码器结构为可逆神经网络，首先将输入的初步图像特征在通道维度进行平均划分，得到两个新的特征z1和z2，将两个新的特征通过3个可逆神经网络节点得到细节特征，再利用可逆残差块生成缩放系数ρ、偏置系φ和偏置系数η，将z2加上偏置系数φ，z1乘缩放系数ρ再加上偏置系数η，最后将更新后的z1和z2输入下一个可逆神经网络节点，可逆神经网络正向计算和反向计算是互逆的，通过反向计算精确地恢复得到初步图像特征。
6.根据权利要求1所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，所述基础特征融合层和细节特征融合层将提取的两幅待融合图片的两组基础特征和细节特征分别相加，实现特征的拼接。
7.根据权利要求1所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，所述基于restormer的特征解码器将融合后的基础特征和细节特征输入特征解码器，特征解码器首先使用张量拼接函数将细节特征和基础特征在在通道维度进行拼接得到初步的融合特征，再将初步融合后的特征通过1×1的卷积核将通道数进行聚合，得到信息更加集中的特征图。
8.根据权利要求1所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，构建基于跨任务细节协同模块以及知识重放的知识蒸馏框架，根据构建的所述知识蒸馏框架处理统一图像融合网络输出的数据，包括：
9.根据权利要求7所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，所述交叉细节特征的蒸馏损失为：
10.根据权利要求7所述的一种基于细节协同模块及知识重放的连续学习的图像融合方法，其特征在于，所述基于梯度的样本筛选机制的筛选的公式如下：
