本发明属于可见光图像与红外图像转换，更为具体地讲，涉及一种基于循环生成对抗网络的可见光图像与红外图像的转换方法。
背景技术：
1、在当前的研究背景下，深度学习技术在图像识别和处理方面取得了显著进展，但其性能很大程度上依赖于大量的训练数据。对于红外图像处理，尤其是军事应用中的精确制导武器系统，因为红外成像设备的高昂成本和实验条件的限制，获取足够的训练样本是一个挑战。此外，为了确保系统的鲁棒性，需要在各种自然和人为干扰环境下对模型进行大规模测试和评估，这进一步增加了对多样化红外图像样本的需求。
2、在遥感技术领域，可见光图像与红外图像的转换对于多种应用至关重要，包括军事侦察、环境监测、灾害评估等。现有的面向遥感场景下的可见光图像到红外图像的迁移方法主要基于生成式对抗网络来构建。
3、ma等人基于条件对抗网络提出了一种可见光图像到红外图像的迁移方法，其构建一个梯度向量损失来提升红外图像的边缘细节，使用多尺度的patchgan来丰富图像不同尺度的细节信息。
4、moradi等人面向自然场景下远红外图像难以获取的问题，提出了一种基于cyclegan的可见光图像到红外图像迁移方法，并针对网络结构、训练过程和损失函数进行优化以实现更好的迁移效果。
5、han等人引入解耦表征的概念，将不同模态下的图像分解为域不变的语义结构空间和域相关的风格空间，通过不同的风格空间向量来控制迁移图像，并在此基础上提出一个双重几何一致性约束实现更准确的从可见光图像到红外图像的映射关系。
6、现有的技术手段具有以下缺点：
7、1、现有可见光图像到红外图像迁移方法大多需要成对的可见光图像和红外图像进行训练，但成对的可见光图像和红外图像数据较为匮乏。
8、2、基于生成式对抗网络的方法存在训练不稳定，难以优化网络参数的问题，且可见光图像与红外图像的转换模型推理速度慢；
9、3、现有的可见光图像到红外图像转换缺乏对遥感场景的关注，且细节不清晰，难以用于实际应用。
技术实现思路
1、本发明的目的在于克服现有技术的不足，提供一种基于循环生成对抗网络的可见光图像与红外图像的转换方法，以实现在成对的可见光图像和红外图像数据较为匮乏的情况下进行训练，得到推理速度较快的可见光图像与红外图像的转换网络，得到细节不清晰的迁移图像。该方法适用于遥感场景下可见光图像到红外图像生成。
2、为实现上述发明目的，本发明基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，包括以下步骤：
3、(1)、构建可见光图像与红外图像转换网络
4、构建的可见光图像与红外图像转换网络包含图像编码器、文本编码器、扩散模型、图像解码器；
5、1.1)、将由传感器获取的rgb格式的可见光图像ivi＝(r,g,b)或单通道红外图像iir＝(gray)输入图像编码器中，提取可见光图像或红外图像的特征，得到维度为n的可见光特征图fvi或红外特征图fir；
6、1.2)、将文本提示tir或tvi输入文本编码器中，提取文本描述的特征，得到文本特征ftir或ftvi，其中，文本提示tvi表示转换为可见光图像，tir表示转换为红外图像；
7、1.3)、形状与可见光特征图fvi或红外特征图fir大小一致的噪声z，与作为条件的可见光特征图fvi和文本特征ftir或红外特征图fir和文本特征ftir共同输入扩散模型中，扩散模型经过一步扩散得到维度同样为n的迁移后的红外特征图或与作为条件的红外特征图fir和文本特征ftvi或可见光特征图ivi和文本特征ftvi共同输入扩散模型中，扩散模型经过一步扩散得到维度同样为n的迁移后的可见光特征图
8、1.4)、将红外特征图或可见光特征图输入图像解码器中，经过上采样和复原操作得到可见光图像ivi大小一致的迁移后的红外图像或单通道红外图像iir大小一致的迁移后的可见光图像
9、其中，使用1x1的零卷积连接编码器和解码器对应尺度的卷积层，在进行了零填充之后，使用卷积核或滤波器在编码器中输入特征图上滑动并计算输出特征图输出到解码器进行解码并所在层解码特征图进行融合；
10、其中，输入为可见光图像ivi以及文本提示tir时，可见光图像到红外图像转换得到红外图像表示为gvi→ir(ivi)，输入为单通道红外图像iir以及文本提示tir时，红外图像到红外图像得到红外图像表示为gir→ir(iir)，输入为单通道红外图像iir以及文本提示tvi时，可见光图像到红外图像转换得到可见光图像表示为gir→vi(iir)，输入为可见光图像ivi以及文本提示tvi时，可见光图像到可见光图像转换得到的可见光图像表示为gvi→vi(ivi)；
11、(2)、训练可见光图像与红外图像转换网络
12、将可见光图像与红外图像转换网络部署到循环生成对抗网络框架中进行训练，每次迭代中从数据集中随机选取一可见光图像ivi以及一红外图像iir送入可见光图像与红外图像转换网络，然后：
13、2.1)、计算循环一致性损失lcyc
14、首先，将可见光图像ivi送入可见光图像与红外图像转换网络进行两次转换vi→ir和ir→vi，得到重建的可见光图像gir→vi(gvi→ir(ivi))，将红外图像iir送入可见光图像与红外图像转换网络进行两次转换ir→vi和vi→ir，得到重建的红外图像gvi→ir(gir→vi(iir))，其中，vi→ir表示可见光图像转换为红外图像，ir→vi表示红外图像转换为可见光图像，g表示可见光图像与红外图像转换网络的图像转换；
15、然后，计算将循环一致性损失lcyc：
16、lcyc＝lrec(gir→vi(gvi→ir(ivi)),ivi)+lrec(gvi→ir(gir→vi(iir)),iir)
17、其中，lrec(gir→vi(gvi→ir(ivi)),ivi)表示计算重建可见光图像gir→vi(gvi→ir(ivi))与可见光图像ivi之间的损失即重建损失，lrec(gvi→ir(gir→vi(iir)),iir)表示计算重建红外图像gvi→ir(gir→vi(iir))与红外图像iir之间的损失即重建损失；
18、2.2)、计算对抗损失lgan
19、在可见光域和红外图像域中分别使用两个判别器对图像进行判别，并计算对抗损失lgan：
20、
21、其中，dvi表示可见光域判别器判别操作，dir表示红外域判别器判别操作，结果均为0～1，表示针对可见光图像求期望值，表示针对红外图像求期望值；
22、2.3)、计算一致性约束lcon
23、首先，将可见光图像ivi送入可见光图像与红外图像转换网络进行vi→vi转换得到重建的可见光图像gvi→vi(ivi)，将红外图像iir送入可见光图像与红外图像转换网络进行ir→ir转换，得到重建的红外图像(gir→ir(iir))，其中，vi→vi表示可见光图像转换为可见光图像，ir→ir表示红外图像转换为红外图像；
24、然后，计算一致性约束lcon：
25、lcon＝lrec(gvi→vi(ivi),ivi)+lrec(gir→ir(iir),iir)
26、其中，lrec(gvi→vi(ivi),vi)表示计算重建可见光图像gvi→vi(ivi)与可见光图像ivi之间的损失即重建损失，lrec(gir→ir(iir),iir)表示重建红外图像gir→ir(iir)与红外图像iir之间的损失即重建损失；
27、2.4)、计算总的损失l：
28、l＝λ1lcyc+λ2lgan+λ3lcon
29、其中，λ1、λ2以及λ3为权重系数；
30、2.5)、依据总的损失l为训练目标，根据损失l对可见光图像与红外图像转换网络中的参数进行更新；
31、重复步骤2.1)～步骤2.5)直到网络收敛，得到训练好的可见光图像与红外图像转换网络；
32、(3)、可见光图像与红外图像转换
33、将可见光图像ivi以及文本提示tir输入到训练好的可见光图像与红外图像转换网络，得到红外图像即gvi→ir(ivi)，将单通道红外图像iir以及文本提示tvi输入到训练好的可见光图像与红外图像转换网络，得到可见光图像即gir→vi(iir)，实现了可见光图像与红外图像的转换。
34、本发明的目的是这样实现的。
35、本发明基于循环生成对抗网络的框架，提出了一种通过对抗性学习目标将单步扩散模型适应到可见光图像到红外图像转换的一般方法，将潜扩散模型中的各种模块整合为一个具有小可训练权重的端到端生成网络，增强了其在保留输入图像结构的同时减少过拟合的能力。训练所得可见光图像转红外图像模型可用于遥感场景红外图像获取，也可用于作为其它场景红外图像生成的解决方案，在实际军事或商业应用中具有更广阔的前景。同时，本发明创新性的设计了一个一步推理的可见光图像到红外图像的转换网络，该网络将原始潜扩散模型中的各种模块整合为一个具有少量训练权重的端到端生成网络，不依赖成对的可见光图像和红外图像数据，推理速度快并能够保持输入图像的高频信息。
1.一种基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，从标准高斯分布中生成噪音z，使用stable diffusion v2.1模型作为扩散模型。
3.根据权利要求1所述的基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，两个判别器都使用预训练的clip图像编码器作为主干网络。
