本发明涉及铁路站台遗留物检测，具体为一种基于深度学习的铁路站台遗留物检测方法。
背景技术：
1、遗留物检测在各个公共场所都有应用需求，尤其是人们选择最多的铁路出行场景，旅客将行李物品遗落在站台上，不仅对旅客造成困扰，对于铁路系统也存在很大的安全隐患，极易造成严重的安全问题和财产损失。以往的应对方式是通过巡视检查，除了需要耗费大量的人力物力，更显著的问题是具有一定的滞后性，不能实时地进行监测，导致效率低下，响应缓慢。随着监控的普及，也可以通过人实时看监控视频的方式，但同样费时，
2、现阶段涌现出一些基于计算机视觉的遗留物检测方法，主要存在以下几个问题：
3、(1)基于传统图像做差的算法检测精度较低，对不同的光照环境鲁棒性较差；
4、(2)基于深度学习的yolo系列目标检测算法，在复杂场景下，能够检测出数据库中已有的遗留物，对未知种类的遗留物检测效果较差。
技术实现思路
1、为了达到提高检测精度和快速准确识别遗失物的效果，本申请提供一种基于深度学习的铁路站台遗留物检测方法。
2、本发明是这样实现的：
3、一种基于深度学习的铁路站台遗留物检测方法，采用多模块组来对铁路站台遗留物进行检测，所述多模块组包括视频图像采集模块、图片相异分割模块、目标检测模块、遗留物匹配模块和信息上报模块；
4、铁路站台遗留物检测方法包括如下步骤：
5、s1：获取图像，在有遗留物检测需求的铁路站台安装摄像头，视频图像采集模块，从摄像头端采集现场正常情况下的视频，获取需要检测的当前帧图像，同时获取历史的视频帧，并且通过人员模拟物品遗留的情况，以此来作为测试验证数据；
6、s2：数据标注和模型训练，数据标注包括两种标签形式，一种是分割模型mask图的标签，另一种是目标检测的标签，对原始数据集中的所有已知目标进行标注，使用标注后的数据训练基于yolov7的检测模型，得到目标检测模型yolov7；训练基于3dunet的分割模型，模型返回的是输入序列中相异区域的目标mask图，记为segmentat ion1；
7、s3：序列图片差异分割，通过网络以及rtsp协议获取摄像头视频流数据，解码后得到视频的每一帧图像，使用3dunet模型对当前帧、历史帧一和历史帧二分割提取，获取三帧图中相异区域mask图，根据目标的mask图获取其外接矩形框；
8、s4：判断输入序列是否有差异输出，若没有输出，未检测到遗留物；若检测到差异输出，进一步判定是何种遗留物；
9、s5：目标检测，通过模块s2训练的目标检测模型yolov7，分别对输入的三帧图进行检测，得到每一帧图中的目标检测框的坐标和遗留物的类别，输出当前帧、历史帧一、历史帧二的检测结果detect ion1、detection2、detection3；
10、s6：两种模型目标匹配，获取模块s3分割结果segmentat ion1和模块s5检测结果detect ion1、detect ion2、detect ion3，分别计算交并比iou1、iou2、iou3，与设定的阈值1比较，大于阈值1即匹配为同一目标，小于阈值1不能匹配；
11、s7：判断与阈值1是否匹配，获取模块s6计算的iou1、iou2、iou3值，并设置阈值1与之比较，若都不能匹配，输出未知类别的遗留物和分割目标框坐标；若iou1、iou2或iou3能够匹配，则输出detection1的检测框和类别；
12、s8：遗留物检测报警，分类上报遗留物，并在图中进行标注，发出警告，提醒工作人员及时处理。
13、进一步的，s2中目标检测模型yolov7是一个目标检测框架，返回目标检测框的坐标和类别。
14、进一步的，s2中3dunet模型有两类标签，前景和背景，分别指图中遗留物和遗留物之外的所有区域。
15、进一步的，s3中的当前帧为列车出站后的图片帧、历史帧一为列车进站前的图片帧、历史帧二为前一天相同时间段的图片帧。
16、进一步的，s7中能够匹配分为两种情形，若iou1能够匹配，则输出detection1的检测框和类别，若iou1不能匹配，iou2或iou3能够匹配，表示遗留物在当前帧已被取走，同样输出检测框的类别和坐标。
17、进一步的，s8中分类方式如下：若yolov7检测模型检测目标和3dunet分割模型分割的可疑区域能匹配，并持续一段时间超过设定时间阈值2，上报已知类别的遗留物；若不能匹配，持续一段时间超过设定时间阈值2，上报未知类别的遗留物。
18、进一步的，还包括将yolov7检测模型和3dunet分割模型部署至寒武纪mlu370-s4智能加速卡上，用来提高模型的推理速度，保证检测的实时性。
19、进一步的，模型在寒武纪mlu370-s4智能加速卡上的部署流程如下：
20、s21：模型转换，3dunet分割模型和yolov7检测模型转寒武纪cambricon格式的模型，根据检测需求，确定输入图片尺寸、转换的模型精度、是否选择动态batch，转换后的模型同时存储模型的结构信息和权重信息；
21、s22：模型初始化过程，包括cambricon格式模型加载、创建engine、context、in/out tensor、内存分配步骤；
22、s23：图片预处理，cncv是寒武纪图像处库，与opencv类似，但是cncv能够在智能加速卡mlu370-s4上处理图片，包括颜色空间转换、减均值除方差、尺寸变化，能够提高处理速度，减少推理时间；
23、s24：模型推理，得到3dunet的分割结果和yolov7的检测结果；
24、s25：结果处理，根据分割结果和检测结果进行匹配，并根据停留时间，判断是否需要报警。
25、与现有技术相比，本发明的有益效果是：
26、本发明通过融合3dunet分割算法和yolov7检测算法，能够提升铁路站台遗留物检测的鲁棒性和检测精度，同时适用于各种不同的公共场合。3dunet分割算法和yolov7检测算法都具有较高的精度，在分割出可疑区域的基础上，进一步应用检测算法确定遗留物的种类和位置，而不是同时进行，节约计算资源。在应用中能够不断补充未知遗留物并完善算法，提高遗留物检测的精度。
1.一种基于深度学习的铁路站台遗留物检测方法，其特征在于，采用多模块组来对铁路站台遗留物进行检测，所述多模块组包括视频图像采集模块(101)、图片相异分割模块(102)、目标检测模块(103)、遗留物匹配模块(104)和信息上报模块(105)；
2.根据权利要求1所述的一种基于深度学习的铁路站台遗留物检测方法，其特征在于，s2中目标检测模型yolov7是一个目标检测框架，可返回目标检测框的坐标和类别。
3.根据权利要求2所述的一种基于深度学习的铁路站台遗留物检测方法，其特征在于，s2中3dunet模型有两类标签，前景和背景，分别指图中遗留物和遗留物之外的所有区域。
4.根据权利要求1所述的一种基于深度学习的铁路站台遗留物检测方法，其特征在于，s3中的当前帧为列车出站后的图片帧、历史帧一为列车进站前的图片帧、历史帧二为前一天相同时间段的图片帧。
5.根据权利要求1所述的一种基于深度学习的铁路站台遗留物检测方法，其特征在于，s7中能够匹配分为两种情形，若iou1能够匹配，则输出detection1的检测框和类别，若iou1不能匹配，iou2或iou3能够匹配，表示遗留物在当前帧已被取走，同样输出检测框的类别和坐标。
6.根据权利要求1所述的一种基于深度学习的铁路站台遗留物检测方法，其特征在于，s8中分类方式如下：若yolov7检测模型检测目标和3dunet分割模型分割的可疑区域能匹配，并持续一段时间超过设定时间阈值2，上报已知类别的遗留物；若不能匹配，持续一段时间超过设定时间阈值2，上报未知类别的遗留物。
7.根据权利要求1所述的一种基于深度学习的铁路站台遗留物检测方法，其特征在于，还包括将yolov7检测模型和3dunet分割模型部署至寒武纪mlu370-s4智能加速卡上，用来提高模型的推理速度，保证检测的实时性。
8.根据权利要求7所述的一种基于深度学习的铁路站台遗留物检测方法，其特征在于，模型在寒武纪mlu370-s4智能加速卡上的部署流程如下：
