本发明属于煤矿智能化开采分选，具体涉及一种基于煤矸运移态势热敏影像智能感知方法和系统。
背景技术：
1、煤矸自动识别是实现智能化的关键核心技术，目前煤矸石识别存在的主要问题是识别精度和效率低。因为矸石是混合在煤中的黑灰色固体废弃物，所以肉眼很难分辨两种物质，但是，煤和矸石红外热图像之间存在差异，因此基于红外图像的煤矸智能识别技术备受关注。这种方法利用了红外热像仪在恶劣条件下有精准读取目标温度、超远距离探测和超强识别隐蔽目标的优势。
2、该技术一般先获取煤矸的可见光图像和煤矸的红外图像；对煤矸的可见光图像和红外图像进行预处理后计算煤矸的混矸率。通过红外图像上煤对应的面积和可见光图像上的煤矸石的面积来计算混矸率。但是该计算混矸率的方法中煤的面积通过红外获取，而煤矸石的总面积通过可见光图像获取，两个数据来源不一样，煤在两个图像上面积的表现存在差异，所计算的混矸率结果存在误差，根据存在偏差的混矸率进行决策会产生更多不利的影响。
3、综上，现有煤和矸石的识别方法存在混矸率计算误差大的问题。
技术实现思路
1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于煤矸运移态势热敏影像智能感知方法和系统，其设计新颖合理，计算结构精准，实用性强，便于推广使用。
2、为解决上述技术问题，本发明采用的技术方案是：
3、一种基于煤矸运移态势热敏影像智能感知方法，该方法包括如下步骤：
4、对煤矸石红外热敏影像数据的帧图像进行数据增强处理；根据深度学习模型构建煤矸检测模型，利用数据增强后的数据对该煤矸检测模型进行训练；将实验室模拟环境下采集的煤矸石红外热敏影像数据输入到训练后的煤矸检测模型，输出对应的煤和矸石的检测结果，当煤和矸石的检测结果与已知煤和矸石的坐标位置一致时，完成对煤矸目标检测模型的验证；
5、将实际工况下采集的煤矸石红外热敏影像数据输入到验证后的煤矸目标检测模型中，输出对应的煤和矸石的检测结果，从中提取煤和矸石对应的检测框；
6、根据检测框在帧图像上对应的温度数据，分别计算煤和矸石检测框内的平均温度，将其作为煤的平均温度和矸石的平均温度，根据煤的平均温度和矸石的平均温度确定出帧图像上煤的温度数据点数和矸石的温度数据点数，以此计算出对应的混矸率，混矸率的计算公式如下：
7、
8、其中，rinfrared为混矸率，sr为矸石的温度数据点数，sc为煤的温度数据点数。
9、进一步地，确定出帧图像上煤的温度数据点数和矸石的温度数据点数的过程为：获取帧图像上所有点的温度数据，统计出温度在煤的温度范围内的温度数据点数，将其作为煤的温度数据点数；统计出温度在矸石的温度范围内的温度数据点数，将其作为矸石的温度数据点数；上述煤的温度范围为煤的平均温度的±t℃，所述矸石的温度范围为矸石的平均温度的±t℃，t∈[2,5]。
10、进一步地，深度学习模型采用deepsort模型构建，上述煤矸目标检测模型的训练过程为：
11、1)将煤矸石红外热敏影像数据作为煤矸目标检测模型的输入，yolov7检测器对输入影像的帧图像进行目标检测，并根据目标检测结果创建相应的轨迹；
12、2)卡尔曼滤波器根据上一帧的目标信息预测当前帧的目标信息，当连续三帧中同一目标匹配成功时，则标记为确认状态，反之标记为非确认状态；
13、3)当判断轨迹为确认状态时，对煤矸轨迹和新的检测进行级联匹配，根据参数大小的差异对跟踪器进行先后匹配，参数小的匹配优先级更高，参数大的匹配优先级在后，连续几帧均未匹配上的跟踪器则会逐渐降低优先级；当判断轨迹为非确认状态时，对煤矸轨迹和检测进行iou匹配，匹配输出的三种结果，三种结果分别为：匹配完成、检测未匹配、轨迹未匹配；
14、4)循环执行步骤2)、3)直至影像结束。
15、进一步地，上述deepsort模型包括有三部分：检测器、特征提取网络和跟踪器；检测器用于在帧图像中检测出目标对象，特征提取网络用于提取目标的特征，跟踪器用于根据特征确定目标在帧图像上的位置数据和目标类型，该特征提取网络采用resnet18网络。
16、进一步地，在yolov7检测器主干网络卷积层的采用pconv-elan网络，模块中，该卷积层的卷积核采用3×3pconv；在yolov7检测器主干网络卷积层后插入sa模块，sa模块对卷积层输出的特征图进行分组，分组后的子特征在通道注意力和空间注意力两个维度上分别提取特征信息再合并，最后通过channel shuffle操作重排，输出不同子特征融合后的最终特征图。
17、进一步地，煤矸石红外热敏影像数据在模拟井下工况中通过相机获取，模拟井下工况包括有模拟粉尘工况、模拟湿度工况和模拟煤矸运移状态工况。
18、进一步地，数据增强处理包括有对比度增强处理和暗通道去雾处理。
19、进一步地，对比度增强处理的过程为：将影像数据的各帧按照n×m规格进行图像分割，得到n×m个子区域，计算子区域灰度直方图的灰度值h(x)，当灰度值h(x)≥上限阈值时，按照裁剪幅值裁剪掉部分像素，并将裁剪掉的部分像素平均增加到该灰度直方图的各个灰度等级上。
20、进一步地，暗通道去雾处理的过程为：获取当前煤矸石红外热敏影像数据中的一帧图像，对该图像进行大气光强度进行估计，根据该图像和大气光强度估计出透射率，根据大气光强度和透射率，对该图像进行图像去雾恢复，得到暗通道去雾处理后的图像。
21、本发明公开了一种基于煤矸运移态势热敏影像智能感知控制系统，该系统包括有处理器和控制器，上述处理器根据煤矸石红外热敏影像数据利用上述的基于煤矸运移态势热敏影像智能感知方法得到对应的混矸率，将混矸率上送给控制器；上述控制器根据混矸率对放煤口进行闭合控制。
22、本发明与现有技术相比具有以下优点：
23、基于煤矸运移态势热敏影像智能感知方法通过对图像进行数据增强处理，解决图像对比度差和清晰度不高的问题；通过实验室模拟环境下的数据对煤矸检测模型进行训练，降低数据获取的难度，通过实验室模拟环境能够低成本的获取大量数据，再通过实验室模拟环境实际检验模型的效果，将通过检验的模型投入实际使用，提高模型的准确度；利用验证后的模型进行目标检测，从中获取目标对应的检测框，根据检测框获取煤和矸石的平均温度，再根据平均温度获取煤和矸石的温度数据点数，以此计算出混矸率；由于煤矸目标检测模型准确性较高，可以精准获取目标对应的检测框，根据检测框获取目标的平均温度；同时，通过温度数据点数统计精准计算混矸率。混矸率混矸率。
24、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
1.一种基于煤矸运移态势热敏影像智能感知方法，其特征在于：该方法包括如下步骤：
2.按照权利要求1所述的基于煤矸运移态势热敏影像智能感知方法，其特征在于：确定出帧图像上煤的温度数据点数和矸石的温度数据点数的过程为：获取帧图像上所有点的温度数据，统计出温度在煤的温度范围内的温度数据点数，将其作为煤的温度数据点数；统计出温度在矸石的温度范围内的温度数据点数，将其作为矸石的温度数据点数；所述煤的温度范围为煤的平均温度的±t℃，所述矸石的温度范围为矸石的平均温度的±t℃，t∈[2,5]。
3.按照权利要求1所述的基于煤矸运移态势热敏影像智能感知方法，其特征在于：所述深度学习模型采用deepsort模型构建，所述煤矸目标检测模型的训练过程为：
4.按照权利要求3所述的基于煤矸运移态势热敏影像智能感知方法，其特征在于：所述deepsort模型包括有三部分：检测器、特征提取网络和跟踪器；检测器用于在帧图像中检测出目标对象，特征提取网络用于提取目标的特征，跟踪器用于根据特征确定目标在帧图像上的位置数据和目标类型，该特征提取网络采用resnet18网络。
5.按照权利要求3所述的基于煤矸运移态势热敏影像智能感知方法，其特征在于：在yolov7检测器主干网络卷积层的采用pconv-elan网络，模块中，该卷积层的卷积核采用3×3pconv；
6.按照权利要求1所述的基于煤矸运移态势热敏影像智能感知方法，其特征在于：所述煤矸石红外热敏影像数据在模拟井下工况中通过相机获取，模拟井下工况包括有模拟粉尘工况、模拟湿度工况和模拟煤矸运移状态工况。
7.按照权利要求1所述的基于煤矸运移态势热敏影像智能感知方法，其特征在于：所述数据增强处理包括有对比度增强处理和暗通道去雾处理。
8.按照权利要求7所述的基于煤矸运移态势热敏影像智能感知方法，其特征在于：对比度增强处理的过程为：将影像数据的各帧按照n×m规格进行图像分割，得到n×m个子区域，计算子区域灰度直方图的灰度值h(x)，当灰度值h(x)≥上限阈值时，按照裁剪幅值裁剪掉部分像素，并将裁剪掉的部分像素平均增加到该灰度直方图的各个灰度等级上。
9.按照权利要求7所述的基于煤矸运移态势热敏影像智能感知方法，其特征在于：所述暗通道去雾处理的过程为：获取当前煤矸石红外热敏影像数据中的一帧图像，对该图像进行大气光强度进行估计，根据该图像和大气光强度估计出透射率，根据大气光强度和透射率，对该图像进行图像去雾恢复，得到暗通道去雾处理后的图像。
10.一种基于煤矸运移态势热敏影像智能感知控制系统，其特征在于：该系统包括有处理器和控制器，所述处理器根据煤矸石红外热敏影像数据利用权利要求1-9任一项所述的基于煤矸运移态势热敏影像智能感知方法得到对应的混矸率，将混矸率上送给控制器；所述控制器根据混矸率对放煤口进行闭合控制。
