本申请涉及图像识别领域，特别是涉及一种双光谱图像融合的火灾探测模型的训练方法。
背景技术：
1、基于双光谱信息融合的火灾探测一般是利用可见光图像与红外（近红外/热成像）图像之间的互补信息，提升火灾探测的准确率。由于两种光谱的图像由可见光与红外成像设备分别拍摄，即便通过图片的裁剪和缩放能够使两幅图像具有完全相同的相机内参（比如焦距、像元尺寸等，相当于完全相同的设备拍摄），但是由于设备放置的位置不同，双光谱图像之间仍然存在视差（同一物体在两幅图片中的位置不同）。已经实现内参归一化的双光谱图片，由于设备外部参数（放置位置）的不同而仍然存在视差。由于双光谱图片无法完全对齐，现有的双光谱信息融合的火灾探测模型通常采用决策级融合或高层特征融合的方式，但是目前决策级融合或者高层特征融合都处于模型的后期阶段，无法实现多光谱信息的早期交互。多光谱信息的早期交互能够促进模型学习更具有辨别力的多光谱特征，促进模型性能的提升。
2、但是，早期的、深度的信息融合会使神经网络与双光谱输入高度耦合。在任一光谱输入缺失的情况下，网络会受到较大干扰而不能提取可靠的单光谱特征。这一现象使得历史积累的单光谱火灾数据无法参与训练。如果简单地在训练阶段给融合模型输入单光谱数据，则会因为提取的单光谱特征与双光谱特征在特征空间上存在巨大鸿沟导致难以收敛、模型不稳定等问题。
3、针对目前双光谱火灾探测模型的训练方法无法有效利用单光谱火灾图像来提高训练效果的问题，目前还没有提出有效的解决方案。
技术实现思路
1、在本发明中提供了一种双光谱图像融合的火灾探测模型的训练方法，以解决目前双光谱火灾探测模型的训练方法无法有效利用单光谱火灾图像来提高训练效果的问题。
2、第一个方面，在本发明中提供了一种双光谱图像融合的火灾探测模型的训练方法，包括：
3、获取待训练的深度神经网络模型，所述深度神经网络模型包括两个并行的高分辨率网络，两个所述高分辨率网络分别用于处理不同光谱图像，每个所述高分辨率网络包括第一支路、第二支路和第三支路；
4、通过双光谱非火灾图像对所述深度神经网络模型进行第一训练，所述深度神经网络模型在所述第一训练中，两个所述第二支路的第一个特征图之间、两个所述第三支路的第一个特征图之间以及两个所述第三支路的最后一个特征图之间均通过对齐模块进行对齐；
5、通过单双光谱火灾图像交替对第一训练后的所述深度神经网络模型进行第二训练，所述深度神经网络模型在所述第二训练中，当所述神经网络模型的输入为双光谱火灾图像时，两个所述第二支路的第一个特征图之间以及两个所述第三支路的第一个特征图之间通过融合模块进行相互融合，每个所述第二支路的第一个特征图融合另一个所述第二支路的第一个特征图之后作为支路推理基础，每个所述第三支路的第一个特征图融合另一个所述第三支路的第一个特征图之后作为支路推理基础；
6、经过所述第二训练后的深度神经网络模型为火灾探测模型。
7、第二个方面，在本发明中提供了一种火灾探测方法，包括：
8、将待识别的目标图像输入训练后的火灾探测模型，所述目标图像为单光谱图像或双光谱图像；
9、通过所述火灾探测模型对所述目标图像进行图像识别，根据图像识别结果确定所述目标图像中是否存在火焰，所述火灾探测模型通过第一个方面所述的双光谱图像融合的火灾探测模型的训练方法得到。
10、第三个方面，在本发明中提供了一种双光谱图像融合的火灾探测模型的训练装置，包括：
11、模型获取模块，用于获取待训练的深度神经网络模型，所述深度神经网络模型包括两个并行的高分辨率网络，两个所述高分辨率网络分别用于处理不同光谱图像，每个所述高分辨率网络包括第一支路、第二支路和第三支路；
12、第一训练模块，用于通过双光谱非火灾图像对所述深度神经网络模型进行第一训练，所述深度神经网络模型在所述第一训练中，两个所述第二支路的第一个特征图之间、两个所述第三支路的第一个特征图之间以及两个所述第三支路的最后一个特征图之间均通过对齐模块进行对齐；
13、第二训练模块，用于通过单双光谱火灾图像交替对第一训练后的所述深度神经网络模型进行第二训练，所述深度神经网络模型在所述第二训练中，当所述神经网络模型的输入为双光谱火灾图像时，两个所述第二支路的第一个特征图之间以及两个所述第三支路的第一个特征图之间通过融合模块进行相互融合，每个所述第二支路的第一个特征图融合另一个所述第二支路的第一个特征图之后作为支路推理基础，每个所述第三支路的第一个特征图融合另一个所述第三支路的第一个特征图之后作为支路推理基础；
14、所述第二训练后的深度神经网络模型为火灾探测模型。
15、第四个方面，在本发明中提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一个方面所述的双光谱图像融合的火灾探测模型的训练方法或第二个方面所述的火灾探测方法。
16、第五个方面，在本发明中提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一个方面所述的双光谱图像融合的火灾探测模型的训练方法或第二个方面所述的火灾探测方法的步骤。
17、与相关技术相比，本发明提供的双光谱图像融合的火灾探测模型的训练方法，可以采用单光谱火灾图像进行训练并得到提升，不存在模型难以收敛的问题，解决了目前双光谱火灾探测模型的训练方法无法有效利用单光谱火灾图像来提高训练效果的问题。
18、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
1.一种双光谱图像融合的火灾探测模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的双光谱图像融合的火灾探测模型的训练方法，其特征在于，每个所述对齐模块包括两个并行网络通道，每个所述网络通道包括依次连接的多个下采样卷积层、全连接层和归一化层，两个所述网络通道的对应下采样卷积层之间共享参数，两个所述网络通道的全连接层之间共享参数；
3.根据权利要求2所述的双光谱图像融合的火灾探测模型的训练方法，其特征在于，所述第一训练的损失函数为：
4.根据权利要求1所述的双光谱图像融合的火灾探测模型的训练方法，其特征在于，所述融合模块的特征处理流程为：
5.根据权利要求4所述的双光谱图像融合的火灾探测模型的训练方法，其特征在于，在所述第二训练中，两个所述高分辨率网络的输出分别通过图像识别头进行图像识别，每个所述高分辨率网络的输出包括自身第一支路、第二支路和第三支路的最后一个特征图；
6.根据权利要求5所述的双光谱图像融合的火灾探测模型的训练方法，其特征在于，所述图像识别头为目标检测头、语义分割头、实例分割头和图像分类头中的一个。
7.一种火灾探测方法，其特征在于，包括：
8.一种双光谱图像融合的火灾探测模型的训练装置，其特征在于，包括：
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-6中任一项所述的双光谱图像融合的火灾探测模型的训练方法或权利要求7所述的火灾探测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的双光谱图像融合的火灾探测模型的训练方法或权利要求7所述的火灾探测方法的步骤。
