本发明涉及红外图像目标检测及分割领域，具体涉及一种红外图像目标检测及分割联合处理方法、装置及系统。
背景技术：
1、红外图像目标检测技术是一种利用红外传感器获取的红外图像进行目标识别和检测的技术，而图像分割技术旨在将图像分割成具有语义信息的区域，通常涉及像素级别的分类。这两种红外图像处理任务均具有广泛的应用领域，包括军事和安全、搜救、工业检测和无人机等。目标检测和图像分割是互补的任务，目标检测关注物体的边界框和类别信息，而图像分割则关注物体的精确像素级别的分割，目标检测任务擅长处理较大像素占比的目标，所以其获得的类别信息可以宏观上帮助分割任务中的像素分类，而分割任务处理较小像素占比的目标具有优势，所以其获得的像素分类也可以精细化目标检测的结果。因此，将两项任务进行联合处理，实现多任务学习是一种可以提升效率，扩大应用场景的实用处理方法。然而，如何实现多任务学习，高效地联合处理目标检测和图像分割任务仍是一项挑战。
2、中国授权公告号为“cn116824630a”，名称为“一种轻量化红外图像行人目标检测方法”，该方法设计了一种改进的yolov5网络模型，加入了注意力机制并使用一种基于高斯概率密度分布以及指数分布改进损失函数，提高模型的训练速度，降低部署成本；该目标检测方法单纯采用注意力机制提升检测效果，并不能达到很高的检测精度。
3、中国授权公告号为“cn114419090a”，名称为“一种基于全卷积网络的红外图像多目标分割方法”，该方法使用全卷积神经网络模型，具有学习能力强的特点；但是由于网络过于冗余，导致推理速度慢，实际应用性不高。
4、综上所述，如何设计一个同时能够进行目标检测和图像分割任务的模型，以灵活地适应不同的应用场景和需求，是目前本领域技术人员亟待解决的问题。
技术实现思路
1、本发明实施例的主要目的在于提出一种红外图像目标检测及分割联合处理方法、装置及系统，旨在设计一种新型的红外图像处理方法，可以同时进行目标检测和图像分割，使得模型更好理解图像中的物体信息，提高检测和分割的准确性。
2、本发明解决上述技术问题的技术方案是，提供一种红外图像目标检测及分割联合处理方法，包括以下步骤：
3、一种红外图像目标检测及分割联合处理方法，具体包括以下步骤：
4、步骤1，准备训练数据：选择红外图像集，将数据集划分为训练集、验证集和测试集，对训练集中的原图像和其对应标签进行预处理，完成准备训练数据；
5、步骤2，构建网络模型：网络模型主要包括一个特征编码模块、一个特征融合模块、一个特征解码模块和一个预测输出模块；特征编码模块以红外图像作为输入，提取红外图像的特征进行编码。特征融合模块以编码器模块的不同层次的输出特征图和阴影遮罩图像作为输入，不断将各个尺度的语义信息和阴影信息进行聚合，并输出到特征解码模块。特征解码模块将编码完成的深度特征图进行解码，同时接收特征融合模块输出的补充信息，输出解码完成的特征图。预测输出模块将处理解码后的特征图，分别输出预测的检测结果和分割结果；
6、步骤3，训练网络模型：选择合适的损失函数后开始网络训练，最小化输出检测结果框与真实标签的损失函数值以及输出分割像素和真实标签像素的损失函数值，直到训练次数达到初始设定阈值或损失函数的值达到预设值，即认为网络模型已训练完成，保存网络模型参数；
7、步骤4，微调网络模型：使用验证集对网络模型进行调整，优化网络模型参数，进一步提高检测效果和分割效果，得到能够实现最优效果的网络模型；
8、步骤5，固化网络模型：完成网络模型调整后，固定网络参数，确定最终的神经网络模型；若后续需要进行红外图像目标检测及分割任务时，可以直接将红外图像输入至网络模型中，得到检测及分割结果。
9、进一步地，所述步骤1中的红外图像为flir数据集，对红外图像经过颜色空间转换法得到阴影遮罩图像，通过裁剪和尺寸变化等预处理将训练图像尺寸调整为256×256。
10、进一步地，所述步骤2中的特征编码模块由卷积块一、卷积块二、卷积三、卷积块四和卷积块五组成；其中所有卷积块的组成结构均相同，均包括卷积层、归一化层和激活函数。
11、进一步地，所述步骤2中的特征融合模块由融合模块一、融合模块二、融合模块三和融合模块四组成；其中，所有融合模块组成结构均相同，由全局平均池化、全局最大池化、空洞卷积层、1×1卷积层、s激活函数、连接操作、矩阵乘法操作组成。
12、进一步地，所述步骤2中的特征解码模块由反卷积块一、反卷积块二、反卷积块三和反卷积块四组成；其中，所有反卷积块组成均相同，均包括卷积层、归一化层、激活函数、连接操作和上采样操作。
13、进一步地，所述步骤2中的预测输出模块由检测头、细化模块和分割头组成；其中，细化模块由不同核大小的自适应平均池化、1×1卷积层、上采样操作、矩阵乘法操作和连接操作组成；其中，分割头由空洞卷积层、s激活函数、1×1卷积层和上采样操作组成；其中，检测头为fcos检测网络的预训练检测头，由一组包含卷积层和激活函数的卷积块和全连接层组成。
14、进一步地，所述步骤2中，所构建各个模块的所有卷积层的卷积核大小为n×n，所有激活函数均使用非线性整流函数。
15、进一步地，所述步骤3中的损失函数包括目标检测损失函数和图像分割损失函数。其中，目标检测损失函数为一种复合损失函数，包括目标检测分类损失、目标检测中心点回归损失和目标边界框尺寸回归损失，其中分类损失采用交叉熵损失函数度量，中心点回归损失采用平滑l1损失度量，目标边界框尺寸回归损失采用均方误差损失度量，总损失由上述损失加权组合来计算；图像分割损失函数采用交叉熵损失函数。对两种任务的损失再进行动态加权，以平衡两种任务的训练过程。
16、为解决上述技术问题，本发明还提出一种红外图像检测及分割联合处理装置，所述红外图像检测及分割联合处理装置包括：
17、图像获取单元：用于处理输入的红外图像，以获取后续模块需要的图像类型；获取方式具体是对输入的红外图像应用颜色空间转换法获取阴影遮罩图像；
18、图像处理单元：用于提取图像的特征信息；包括特征编码模块、特征融合模块及特征解码模块，特征编码模块直接提取输入的红外图像特征进行编码，特征融合模块处理图像获取单元输出的阴影遮罩图像并且在不同尺度上将特征编码模块输出的编码信息进行融合。特征解码模块将特征编码模块输出的编码信息进行解码，同时结合特征融合模块输出的融合特征信息进行更加精确的解码；
19、检测结果输出单元：用于输出预测的检测结果；包括检测头；
20、分割结果输出单元：用于输出预测的分割结果；包括细化模块和分割头。
21、为解决上述技术问题，本发明还提出一种红外图像检测及分割联合处理系统，所述红外图像检测及分割联合处理系统包括：
22、红外图像采集设备：用于采集需要处理的红外图像；
23、红外图像算法处理器：用于处理采集到的红外图像；包括所述一种红外图像检测及分割联合处理装置中的：图像获取单元、图像处理单元、检测结果输出单元及分割结果输出单元；
24、所述红外图像算法处理器与所述红外图像采集设备通信连接，用于针对所述红外图像采集设备采集的红外图像进行目标检测及图像分割联合处理。
25、与现有技术相比，本发明提供了一种红外图像目标检测及分割联合处理方法、装置及系统，具备以下有益效果：
26、1、本发明提供的一种新的u型结构的红外图像目标检测及分割的多任务联合处理框架，区别于其他多任务处理方法，此框架仅使用同一个特征提取主干即可完成两种不同任务，因此可以有效降低开销，提升推理效率；同时将目标检测和图像分割两个互补的任务进行联合处理，使得模型可以更好理解图像中的信息，同时提高检测和分割的准确性。
27、2、本发明提供的一种红外图像目标检测及分割联合处理方法，利用了颜色空间转换的方法进行了阴影检测，并将阴影检测结果作为补充信息，帮助网络分辨阴影与目标，从而提升网络对图像的理解能力。
28、3、本发明提供的一种红外图像目标检测及分割联合处理方法，设计了一种特征融合模块，在此模块中设计了一种新的通道空间注意力，有效地聚合阴影检测图像和原始红外图像的不同特征，提高了网络的特征提取能力，从而有效提高检测和分割的精度。
29、4、本发明提供的一种红外图像目标检测及分割联合处理方法，设计了一种细化模块，可以优化分割图像的细节，细化分割的边缘，从而提高分割的精度。
30、5、本发明提供的一种红外图像目标检测及分割联合处理方法，针对多任务的需求，设计了一种动态调整的损失函数，使得网络可以根据不同任务的学习进度，动态调整损失权重，以平衡模型的整体性能。
31、6、本发明提供的一种红外图像目标检测及分割联合处理装置，可以实现所设计的联合处理方法，在图像处理单元中嵌入了一种新型的目标检测及图像分割联合处理网络框架，可以有效提高检测及分割的效果，使得所提出的装置可以获的优秀的检测及分割结果，因而也具备有所述的联合处理方法相关优点。
1.一种红外图像目标检测及分割联合处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种红外图像目标检测及分割联合处理方法，其特征在于：所述步骤1中，红外图像数据集为flir数据集，对红外图像经过颜色空间转换法得到阴影遮罩图像，通过裁剪和尺寸变化等预处理将训练图像尺寸调整为256×256。
3.根据权利要求1所述的一种红外图像目标检测及分割联合处理方法，其特征在于：所述步骤2中，特征编码模块由卷积块一、卷积块二、卷积三、卷积块四和卷积块五组成；其中，所有卷积块的组成结构均相同，均包括卷积层、归一化层和激活函数。
4.根据权利要求1所述的一种红外图像目标检测及分割联合处理方法，其特征在于：所述步骤2中，特征融合模块由融合模块一、融合模块二、融合模块三和融合模块四组成；其中，所有融合模块组成结构均相同，由全局平均池化、全局最大池化、空洞卷积层、1×1卷积层、s激活函数、连接操作、矩阵乘法操作组成。
5.根据权利要求1所述的一种红外图像目标检测及分割联合处理方法，其特征在于：所述步骤2中，特征解码模块由反卷积块一、反卷积块二、反卷积块三和反卷积块四组成；其中，所有反卷积块组成均相同，均包括卷积层、归一化层、激活函数、连接操作和上采样操作。
6.权利要求1所述的一种红外图像目标检测及分割联合处理方法，其特征在于：所述步骤2中，预测输出模块由检测头、细化模块和分割头组成；其中，细化模块由不同核大小的自适应平均池化、1×1卷积层、上采样操作、矩阵乘法操作和连接操作组成；其中，分割头由空洞卷积层、s激活函数、1×1卷积层和上采样操作组成；其中检测头为fcos检测网络的预训练检测头，由一组包含卷积层和激活函数的卷积块和全连接层组成。
7.权利要求1所述的一种红外图像目标检测及分割联合处理方法，其特征在于：所述步骤2中，所构建的各个模块的所有卷积层的卷积核大小为n×n，所有激活函数均使用非线性整流函数。
8.根据权利要求1所述的一种红外图像目标检测及分割联合处理方法，其特征在于：所述步骤3中，损失函数包括目标检测损失函数和图像分割损失函数；其中，目标检测损失函数为一种复合损失函数，包括目标检测分类损失、目标检测中心点回归损失和目标边界框尺寸回归损失，其中分类损失采用交叉熵损失函数度量，中心点回归损失采用平滑l1损失度量，目标边界框尺寸回归损失采用均方误差损失度量，总损失由上述损失加权组合来计算；图像分割损失函数采用交叉熵损失函数；对两种任务的损失再进行动态加权，以平衡两种任务的训练过程。
9.根据权利要求1-8所述的任一项一种红外图像目标检测及分割联合处理装置，其特征在于：所述红外图像检测及分割联合处理装置包括：
10.根据权利要求1-8所述的任一项一种红外图像目标检测及分割联合处理系统，其特征在于：所述红外图像检测及分割联合处理系统包括：
