本发明涉及图像处理，特别是一种船舰高光谱图像生成方法、终端设备及存储介质。
背景技术：
1、在海洋监测领域，复杂海况下舰船的实时、精确监控需求日益增长。可见光图像在复杂海况的表现受限，而红外图像虽能反映目标的温度信息，但在细节分辨上存在局限。高光谱图像因其能够揭示目标的详细材质信息，对于舰船检测识别具有不可替代的优势。然而，由于高光谱成像技术的数据采集过程繁琐且成本高昂，直接应用于实时监测存在明显局限。此外，复杂海况如海面反光、波浪、雾气等，对图像采集和处理提出了更高挑战。因此，开发一种能够在复杂海况下快速生成高光谱图像的技术，对于提升情报获取的准确性和效率至关重要。
2、尽管当前存在多种图像生成和转换技术，但针对复杂海况下舰船的高光谱图像生成，现有方案仍存在明显不足。传统图像增强技术主要集中于提升图像的对比度和亮度，这有助于改善图像的视觉效果。然而，这些技术通常没有涉及到光谱信息的处理和分析，无法提供关于目标材质和化学成分的详细信息。在复杂海况下，舰船的光谱特性可能会因为多种因素（如水面上的反射、雾气等）而发生改变，传统技术难以适应这些变化。多光谱和高光谱成像系统能够提供丰富的光谱数据，有助于进行详细的目标分析和识别。但是，这些系统往往成本高昂，需要专业的硬件支持，不利于大规模部署。数据采集过程可能较为缓慢，不适合需要快速响应的实时监测任务。生成对抗网络在图像转换任务中展现出巨大潜力，能够生成逼真的图像。然而，在生成高光谱图像方面，生成对抗网络仍面临训练数据需求量大的问题，需要大量的标注数据来训练模型。模型的泛化能力有限，可能难以适应不同的海洋环境和舰船类型。此外，由于舰船的光谱特性与其物理和环境条件紧密相关，这对图像生成算法的适应性和准确性提出了更高要求。
技术实现思路
1、本发明所要解决的技术问题是，针对现有技术不足，提供一种船舰高光谱图像生成方法、终端设备及存储介质，实现从红外图像到高光谱图像的高精度转换。
2、为解决上述技术问题，本发明所采用的技术方案是：一种船舰高光谱图像生成方法，包括以下步骤：
3、s1、对海洋场景下的红外图像进行预处理；
4、s2、将预处理后的红外图像输入基于内容一致性约束的光谱生成对抗网络，生成中间态图像，即得到可见光图像；
5、s3、将所述可见光图像输入基于频谱注意机制的掩膜引导的光谱变换器的嵌入层，即将所述可见光图像特征嵌入到基于频谱注意机制的掩膜引导的光谱变换器的初始特征空间中，得到初步光谱特征；
6、s4、将所述初步光谱特征作为基于频谱注意机制的掩膜引导的光谱变换器的输入，并对光谱变换器的输出进行处理，得到生成图像；
7、其中，所述基于内容一致性约束的光谱生成对抗网络的损失函数表示为：
8、；
9、其中，、和分别是gan网络的生成器损失函数、判别器损失函数和感知损失函数，为内容一致性约束损失， ，和分别是外部矫正损失权衡参数和内部矫正损失权衡参数，，，是温标参数，表示合成帧在多层感知器的第 l层空间位置s的输出特征，代表相应的正向特征，代表其他负向特征，l表示多层感知器的层数，s表示第 l层多层感知器的位置，n表示负样本的数量，x是作为输入的预处理后的红外图像， 表示连续输入预处理后的红外图像，表示连续生成的中间态图像，表示在多层感知器的第 l层的差异，表示在多层感知器的第 l层的差异，表示在多层感知器的第 l层的差异，表示在多层感知器的第 l层的差异；所述gan网络的每一层之后接有一个多层感知器。
10、本发明中，在spectralgan网络的实现细节部分，多层感知器被用于嵌入从编码器的每一层提取的特征。在gan编码器的每个层级提取的特征之后，应用了一个两层的多层感知器，每层有256个单元。这样的多层感知器用于嵌入从编码器每层提取的特征，将编码器中提取的高级特征进行融合和转换，以便更好地捕捉输入帧的语义信息。
11、本发明通过基于内容一致性约束的光谱生成对抗网络确保了可见光图像与原始红外图像在视觉上的高度一致性，同时增强了图像的真实感。在特征提取与变换阶段，利用嵌入层和频谱注意机制精确提取关键特征，并通过卷积层进行有效的特征变换，为生成高光谱图像提供了丰富的信息。最后，掩膜引导的光谱变换器精确地将提取的光谱特征转换为高光谱图像，保证了生成图像的高光谱分辨率和质量。本发明提升了图像处理的质量和效率。
12、步骤s4中，频谱注意机制sa表达式为：；其中，是作为自注意力机制输入的中间态图像，和是可学习的参数，h表示图像高度，w表示图像的宽度，c表示颜色通道数，q表示查询，k表示键，v表示值。采用频谱注意机制可以智能地识别图像中的关键光谱特征，显著增强了特征的表达能力，不仅提升了图像的细节，使得生成的高光谱图像在视觉上更加逼真，而且通过专注于图像的特定光谱区域，提高了模型对目标的识别和分类能力。
13、步骤s4中，所述掩膜引导的光谱变换器对所述光谱特征进行多次下采样和上采样，得到多尺度融合特征，将多尺度融合特征输入映射层，得到生成图像。掩膜引导的光谱变换器包括多个串联的注意力区块，第一个注意力区块的输入侧与嵌入层连接；对于第一～第i个注意力区块，相邻两个注意力区块之间通过下采样层连接；对于第i～第m个注意力区块，相邻两个注意力区块依次通过上采样层、卷积层连接；第一个注意力区块的输出与最后一个上采样层的输出进行通道连接，第二个注意力区块与第k-1个上采样层的输出进行通道连接，依此类推；最后一个注意力区块与映射层连接，所述映射层的输出与嵌入层的输入拼接；其中，m为注意力区块的数量，1＜i≤m，k为上采样层的数量。下采样阶段有效地提取了图像的高层次特征，捕捉了场景的全局信息，而上采样阶段则专注于恢复图像的细节，使得高频信息得以保留。这种多尺度处理策略不仅增强了模型对光谱特征的表达能力，而且通过融合不同分辨率的图像信息，提高了生成图像的清晰度和逼真度。此外，多尺度特征融合还增强了模型的泛化能力，使其能够更好地适应各种图像内容和风格，同时优化了计算效率，避免了资源的浪费。
14、所述基于内容一致性约束的光谱生成对抗网络包括依次连接的生成器、多层感知器和鉴别器。生成器利用输入的噪声向量，学习数据分布，创造出具有丰富细节和光谱信息的图像。多层感知器进一步精确表征这些图像特征，提取深层次的信息，而内容一致性约束确保了生成图像在视觉上与原始红外图像保持高度一致性，增强了图像的真实感。
15、所述生成器包括多个串联的卷积层、残差块、上采样层和输出卷积层；所述鉴别器包括多个串联的卷积层和全连接层。
16、所述残差块包括依次连接的第一卷积层、第一归一化层、激活函数、第二卷积层、第二归一化层；所述第二归一化层的输出与第一卷积层的输入拼接后，作为下一残差块的输入，最后一个残差块的输出与该残差块第一卷积层的输入拼接后，作为所述上采样层的输入。通过卷积层之间的跳跃连接，允许网络学习输入和输出之间的残差，有效解决了深层网络训练中的梯度消失问题，同时促进了深层特征的学习和利用。归一化层紧随每个卷积层之后，通过对特征进行归一化处理，加速了网络的收敛并提高了模型的泛化能力。激活函数为网络引入非线性，增强了模型对复杂数据模式的捕捉能力。上采样层则用于恢复图像的分辨率，同时保留重要的高频细节，确保生成的图像既清晰又逼真。
17、所述掩膜引导的光谱变换器由一系列注意力区块和映射层构成。注意力区块是这个结构的核心，它们通过卷积层来调整特征通道，利用注意力机制来识别和增强图像中的关键信息。每个注意力区块都包含两个归一化层、一个光谱注意力和一个前馈网络，它们共同作用于特征图，提取出更为丰富和有区分性的特征表示。通过这种设计，网络能够在不同尺度上捕捉图像的细节和全局信息。上采样层和下采样层在变换器中扮演着至关重要的角色。上采样层通过插值技术增加特征图的分辨率，逐步恢复图像的细节信息，而下采样层则负责降低特征图的空间维度，同时增加特征的抽象级别，有助于网络学习更加高级的特征表示。最后，经过多层处理的特征通过输出映射层进行最终调整。
18、本发明中，对光谱变换器的输出进行处理的具体实现过程包括：对光谱变换器的输出进行卷积操作，将卷积操作的输出结果与所述初步光谱特征相加，得到生成图像。
19、作为一个发明构思，本发明还提供了一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现上述方法的步骤。
20、作为一个发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现上述方法的步骤。
21、作为一个发明构思，本发明还提供了一种计算机程序产品，包括计算机程序/指令；该计算机程序/指令被处理器执行时实现上述方法的步骤。
22、与现有技术相比，本发明所具有的有益效果为：本发明使用红外图像作为输入，减少了对高光谱成像硬件的技术依赖，从而降低整体成本。采用光谱生成对抗网络和光谱变换器技术，不仅可以满足实时性的需要，也降低了高光谱成像所需时间。同时，内容一致性约束和频谱注意机制，让生成图像更加真实，进一步提高图像质量。特别考虑了复杂海洋环境对图像生成过程的影响，通过多特征多级别的分析，增强了算法对不同海况的适应性，同时保证了生成图像的高光谱分辨率和质量。本发明不仅能够提升对舰船的监测和识别能力，还能够扩展到其他海洋目标的监测，如民用船只、海洋生物、海面油污等，具有广泛民用价值。此外，本发明的自动化程度高，能够实现快速、准确的图像生成，适合实时监控和自动化分析，有望显著提升海洋监测的技术水平。在公共数据集vais、nudt-sirst中以海洋为背景场景的图像以及远海（10-12km）船舶的目标检测数据集上采用本发明的方法，实验表明，本发明的方法适用于复杂海况下船舰高光谱图像的生成。
1.一种船舰高光谱图像生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的船舰高光谱图像生成方法，其特征在于，步骤s4中，频谱注意机制sa表达式为：；其中， 是作为自注意力机制输入的中间态图像，和是可学习的参数，h表示图像高度，w表示图像的宽度，c表示颜色通道数，q表示查询，k表示键，v表示值。
3.根据权利要求1所述的船舰高光谱图像生成方法，其特征在于，步骤s4中，所述掩膜引导的光谱变换器包括多个串联的注意力区块，第一个注意力区块的输入侧与嵌入层连接；对于，第一～第i个注意力区块，相邻两个注意力区块之间通过下采样层连接；对于第i～第m个注意力区块，相邻两个注意力区块依次通过上采样层、卷积层连接；第一个注意力区块的输出与最后一个上采样层的输出进行通道连接，第二个注意力区块与第k-1个上采样层的输出进行通道连接，依此类推；最后一个注意力区块与映射层连接，所述映射层的输出与嵌入层的输入拼接；其中，m为注意力区块的数量，1＜i≤m，k为上采样层的数量。
4.根据权利要求1所述的船舰高光谱图像生成方法，其特征在于，所述基于内容一致性约束的光谱生成对抗网络包括依次连接的生成器、多层感知器和鉴别器。
5.根据权利要求4所述的船舰高光谱图像生成方法，其特征在于，所述生成器包括多个串联的卷积层、残差块、上采样层和输出卷积层；所述鉴别器包括多个串联的卷积层和全连接层。
6.根据权利要求5所述的船舰高光谱图像生成方法，其特征在于，所述残差块包括依次连接的第一卷积层、第一归一化层、激活函数、第二卷积层、第二归一化层；所述第二归一化层的输出与第一卷积层的输入拼接后，作为下一残差块的输入，最后一个残差块的输出与该残差块第一卷积层的输入拼接后，作为所述上采样层的输入。
7.根据权利要求1～6之一所述的船舰高光谱图像生成方法，其特征在于，步骤s4中，对光谱变换器的输出进行处理的具体实现过程包括：对光谱变换器的输出进行卷积操作，将卷积操作的输出结果与所述初步光谱特征相加，得到生成图像。
8.一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；其特征在于，所述处理器执行所述计算机程序，以实现上述权利要求1～7之一所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序/指令；其特征在于，所述计算机程序/指令被处理器执行时实现上述权利要求1～7之一所述方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令；其特征在于，该计算机程序/指令被处理器执行时实现上述权利要求1～7之一方法的步骤。
