本发明涉及视频监控，具体为一种基于深度学习的螺栓脱落检测方法。
背景技术：
1、桥梁是各种交通工具的重要通行道路，因此安全性也是其最基本的要求之一，而螺栓是桥梁结构中不可或缺的重要零部件，承担着承重和连接等重要作用，其安全性和稳定性对桥梁的整体稳定性有着至关重要的影响。
2、由于桥梁螺栓长期暴露在空气中，容易受到空气、水分、化学物质的腐蚀，因此在长期巨大受力和频繁的震动中会出现生锈、裂纹、变形等损坏情况，当结构件的损坏由量变到质变时就会发生螺栓脱落的情况，严重影响桥梁的稳定性和安全性，一旦导致人员和车辆发生事故后果不堪设想。因此长期对桥梁的螺栓工作状态进行监控就显得尤为重要，
3、然而桥梁一般都架设在地势较为险峻的地方，并且距离地面较远仅通过肉眼观察较为困难，通过人工的方式对桥梁螺栓进行定期巡检具有很大的难度，现有通过视觉进行螺栓检测常用到帧差法、canny边缘提取等传统的图像处理算法，该方式受光照影响较大，基准图像选取困难，且摄像头抖动或焦距变化会导致无法进行螺栓脱落判定，从而容易出现影响整个事件检测精度的情况。
技术实现思路
1、为了达到减少人工巡检和增加螺栓检测精度的效果，本申请提供一种基于深度学习的螺栓脱落检测方法。
2、本发明是这样实现的：
3、一种基于深度学习的螺栓脱落检测方法，采用多模块组来对螺栓脱落进行检测，所述多模块组包括视频图像采集模块、螺栓检测模块、螺栓脱落判定模块和螺栓脱落告警模块；
4、螺栓脱落检测方法包括以下步骤：
5、s1：获取原始图像，视频图像采集模块，采集待检测桥梁上安装螺栓部分的视频；
6、s2：选取基准图像，将视频解码后抽取其中螺栓未脱落时的图像作为基准图像；
7、s3：螺栓图像标注和检测模型训练，将视频解码后抽取后剩余的图像作为数据集来训练螺栓检测模型；
8、s4：获取视频流，实时地将视频流解码成连续的帧图像，在事件检测中每次传入解码后的当前帧图像；
9、s5：螺栓检测，将基准图像和当前帧图像分别输入给螺栓检测模型，模型推理得到所有螺栓在图像中的位置信息，每个螺栓的中心点坐标为(xi,yi)；
10、s6：判断螺栓数量是否相同，计算基准图像和当前帧图像中检测到的螺栓数量是否相等，如果相同就进行s7，如果不相同就重复s5；
11、s7：计算所有螺栓的面积均值，分别计算出两张图像中螺栓面积的均值a1和a2；
12、s8：判断均值差是否小于阈值，计算两者差的绝对值|a1-a2|，如果大于设定的阈值则跳转到模块s9，如果小于设定的阈值则跳转到模块s10；
13、s9：透视变换，首先根据当前帧和基准图像的螺栓检测结果分别计算出螺栓簇的最小外接矩形(x1,y1,w1,h1)和(x2,y2,w2,h2)，将其四个顶点作为特征匹配点求解出一个单应性矩阵h，即两个平面之间坐标转换矩阵，再使用该矩阵通过透视变换将当前帧所有螺栓的中心点坐标投影到基准图像的平面，从而得到新的坐标。
14、s10：平移变换，基准图像和当前帧的螺栓簇最小外接矩形的左上角顶点分别为(x,y)和(x',y')，计算当前帧螺栓簇相对于基准图像螺栓簇的偏移量，水平方向的偏移量为offsetx＝x-x'，垂直方向的偏移量为offsety＝y-y'。当前帧所有螺栓的中心点坐标为(xi,yi)，分别对每个螺栓的中心点坐标进行偏移量相加，得到矫正后新的坐标位置(xi+offsetx,yi+offsety)。
15、s11：匈牙利匹配，使用新的螺栓坐标和基准图像中螺栓的坐标计算所有点对的欧氏距离得到一个n*n的代价矩阵，对该矩阵进行匈牙利匹配。
16、s12：螺栓脱落判定，分别计算每个螺栓对之间的欧式距离，如果某个螺栓对之间的距离大于设定的阈值，则认为该螺栓发生了较大的位移即螺栓脱落。
17、进一步的，s1中采集的视频包括在各种光照条件下的现场原始图像。
18、进一步的，s7中两张图像中螺栓面积均值的计算公式分别为：和
19、进一步的，在s3中将包含螺栓的图像分为训练集和测试集，训练基于yolov7的螺栓检测模型。
20、进一步的，s12中欧式距离的计算公式为：
21、
22、进一步的，s12中当判断出螺栓脱落，通过螺栓脱落告警模块(104)进行告警。
23、进一步的，螺栓脱落告警模块告警时，会在当前帧中绘画出以螺栓的原始位置为起点，以脱落后螺栓的位置为终点的箭头。
24、与现有技术相比，本发明的有益效果是：本申请采用基于深度学习的目标检测算法检测桥梁的螺栓，首先选取光照条件较好处于正常状态下的桥梁螺栓图像作为基准图像，训练基于yolov7的螺栓检测模型，在监测阶段通过对比当前帧图像的螺栓和基准图像的螺栓位置信息从而对螺栓是否脱落进行判定，当发生螺栓脱落时立即进行告警。与现有技术相比，具有受光照和天气影响小、螺栓检测精度高、螺栓脱落判定算法鲁棒性高、对摄像头抖动和焦距变化不敏感、人工干预少等优点。
1.一种基于深度学习的螺栓脱落检测方法，其特征在于，采用多模块组来对螺栓脱落进行检测，所述多模块组包括视频图像采集模块(101)、螺栓检测模块(102)、螺栓脱落判定模块(103)和螺栓脱落告警模块(104)；
2.根据权利要求1所述的一种基于深度学习的螺栓脱落检测方法，其特征在于，s1中采集的视频包括在各种光照条件下的现场原始图像。
3.根据权利要求1所述的一种基于深度学习的螺栓脱落检测方法，其特征在于，s7中两张图像中螺栓面积均值的计算公式分别为：和
4.根据权利要求1所述的一种基于深度学习的螺栓脱落检测方法，其特征在于，在s3中将包含螺栓的图像分为训练集和测试集，训练基于yolov7的螺栓检测模型。
5.根据权利要求1所述的一种基于深度学习的螺栓脱落检测方法，其特征在于，s12中欧式距离的计算公式为：
6.根据权利要求5所述的一种基于深度学习的螺栓脱落检测方法，其特征在于，s12中当判断出螺栓脱落，通过螺栓脱落告警模块(104)进行告警。
7.根据权利要求6所述的一种基于深度学习的螺栓脱落检测方法，其特征在于，螺栓脱落告警模块(104)告警时，会在当前帧中绘画出以螺栓的原始位置为起点，以脱落后螺栓的位置为终点的箭头。
