本发明属于红外着色，具体涉及一种基于多层次表征融合的零样本红外图像着色方法及系统。
背景技术：
1、在当今数字图像处理领域，红外着色技术备受瞩目，正深刻影响着安防监控、医学影像和辅助驾驶等领域的发展方向。该技术的核心原理是将红外光谱信息转换为可见光谱，从而使人类更容易感知和理解。因此，红外图像着色被认为是提升场景感知和解释能力的有效方法。然而，给定的单通道红外图像与可见光图像之间存在明度与色度上不规则的映射关系，导致红外着色的结果不唯一。此外，红外着色任务对跨模态数据有较强的依赖性。因此，红外着色任务仍然是一个挑战性和趣味性并存的研究问题。
2、传统的图像着色方法主要包括交互式着色技术和基于参考示例的着色技术。在交互式着色技术中，用户通过在区域内部涂鸦来提供粗糙的颜色指示。使用这些用户提供的约束会自动将颜色传播到图像序列中的其他像素，该类方法的主要缺点是着色过程中存在大量的用户干预，并且着色质量极大程度取决于用户的涂鸦经验。相比之下，在基于参考示例的着色技术中，用户仅提供与目标图像色彩分布相似的参考图像，虽然这节省了大量的用户精力，但仍依赖于参考示例的色彩可用程度，需要精细调试才能达到较为理想的着色效果。然而，该类方法仍存在较为明显的颜色渗出（bleeding）现象。传统的图像着色局限于某些假设条件，例如将输入单通道图像的灰度直接作为着色图像的明度，并仅估计图像的色度部分。然而，传统的图像着色方法受限于人们对特定场景的主观认知，难以拓展。此外，红外图像着色需要同时估计明度与色度，因此传统的图像着色方法不再适用于这种情况。随着深度学习的不断发展，结合深度学习网络实现红外图像着色的方法层出不穷。这些方法可以大致分为基于配对数据和非配对数据的红外着色。基于配对数据的红外着色训练过程相对直接，本质上是一个输入到输出的重建过程。然而，这种一一映射的关系使得模型泛化性较差，并且在实际应用中很难获取大量的配对数据。相比之下，基于非配对数据的红外着色将图像之间的一一映射关系进一步整合为两个集合特性之间的映射关系，在减轻了配对数据获取压力的同时，也提升了模型的泛化性能。尽管上述方法取得了不错的效果，但是仍然存在训练过程中对红外数据依赖的问题，这直接导致了在跨模态着色时模型性能较差。零样本红外着色网络首次提出了跨模态零样本学习的红外着色方法，该方法摆脱了训练过程中对红外数据的依赖，使得红外数据仅参与模型推理阶段，这种方法具有良好的跨模态适应性，同时还拥有更广泛的光谱彩色化能力。尽管在多波段红外数据集上验证了该方法的有效性，但是相比于近红外和中波红外的着色效果，长波红外着色质量欠佳。虽然在长波红外着色过程中最大程度地保留了背景和对象实例的结构细节，但是在对象实例的色彩表征上，受到全局图像中上下文信息的干扰，特别是在包含多个对象的复杂场景中（例如汽车上出现了树木的绿色等等）。同时，因为长波红外图像的对比度较低，且边缘模糊，与可见光图像之间存在明显差异。仅通过频域特征的解耦和重构无法提升对象实例的着色效果。如何进一步挖掘可见光和红外两种模态特征之间的相似性，以实现准确的实例级着色，并避免与背景的颜色混淆，仍未得到充分探索。
技术实现思路
1、本发明的目的在于提供一种基于多层次表征融合的零样本红外图像着色方法及系统。
2、为实现上述目的，本发明提供如下技术方案：一种基于多层次表征融合的零样本红外图像着色方法，包括：
3、利用全局图像着色网络对整体红外图像着色；
4、利用预训练实例分割模型，从红外图像中提取实例级特征，并生成相应的实例分割伪标签，将其送至实例着色网络，实现端到端的实例着色；
5、将实例着色结果和整体着色结果输入至全局重着色模块中进行耦合重构，得到优化后的红外着色结果。
6、一种基于多层次表征融合的零样本红外图像着色系统，用于实现上述方法，系统包括：
7、全局图像着色网络，用于对全局红外图像初步着色；
8、实例着色模块，用于从红外图像中提取对象的实例特征，并将生成的实例掩码馈送至实例着色网络，以补充对象实例的局部着色细节；
9、全局重着色模块，将全局着色网络和实例着色模块两个分支的输出结果耦合，并重构对象实例在全局图像中的色彩分布。
10、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
11、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
12、与现有技术相比，本发明的有益效果为：本发明结合图像的上下文信息，将着色后全局的色彩表征和对象实例的色彩表征进行耦合，并提取耦合后的频域特征进一步重构，以获得色彩平滑的红外着色结果。本发明仅使用可见光图像进行训练，实现了跨模态零样本学习，并消除了对红外数据集的依赖。实验结果表明，本发明方法能够进一步优化红外着色算法的性能，并从包含多个对象的复杂场景中提取符合实例特性的颜色分布。
1.一种基于多层次表征融合的零样本红外图像着色方法，其特征在于，包括：
2.根据权利要求1所述的基于多层次表征融合的零样本红外图像着色方法，其特征在于，利用全局图像着色网络对整体红外图像着色，包括图像预处理、频域处理、掩码图像重建和推理图像后处理四部分；
3.根据权利要求2所述的基于多层次表征融合的零样本红外图像着色方法，其特征在于，设置为1。
4.根据权利要求2所述的基于多层次表征融合的零样本红外图像着色方法，其特征在于，在训练阶段将λ设置为。
5.根据权利要求2所述的基于多层次表征融合的零样本红外图像着色方法，其特征在于，利用预训练实例分割模型，从红外图像中提取实例级特征，并生成相应的实例分割伪标签，将其馈送至实例着色网络，实现端到端的实例着色；具体为：
6.根据权利要求5所述的基于多层次表征融合的零样本红外图像着色方法，其特征在于，。
7.根据权利要求2所述的基于多层次表征融合的零样本红外图像着色方法，其特征在于，将实例着色结果和整体着色结果输入至全局重着色模块中进行耦合重构，得到优化后的红外着色结果，具体为：
8.一种基于多层次表征融合的零样本红外图像着色系统，其特征在于，用于实现权利要求1~7任一所述的方法，系统包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述方法的步骤。
