本发明属于工程地质灾害监测工程，涉及一种基于可见光影像的边坡运动落石的识别和预警的方法及装置。
背景技术：
1、边坡危岩崩塌落石灾害是一种山区常见的地质灾害，落石不仅可能威胁交通安全，还可能对山脚的民居、过往的车辆与行人造成伤害。
2、边坡危岩崩塌落石灾害具有发生范围广、突发性高、破坏性强的特点，当前，工程上针对此灾害的监测手段主要采用人工巡检以及基于卫星lidar定位的方法。其中，人工巡检需要耗费较高的人力成本，且通常难以及时发现灾害征兆，存在着偶然性较大、成功预警落石灾害概率较低的问题；lidar定位技术虽然能做到精准监测路况及地灾，但在判别灾害信息和传输过程中尚存在数据处理效率低、报警信息相对滞后的瓶颈问题。以上监测方法普遍存在监测成本较高且智能化程度较低的弊端，难以满足当前边坡落石灾害监测在准确性、时效性上的要求。
3、深度学习(dl,deep learning)是一种快速发展中的人工智能技术，指的是通过编写机器语言对指定的数据样本，诸如语言、文字、图像等，进行内在规律学习，并采用一定权重的多项式来表征样本的方法。目标检测是深度学习领域中的重要研究内容，其旨在通过对某一类特定图像样本的学习和训练，赋予机器识别该目标的能力。因此，基于深度学习目标检测技术可为边坡落石检测任务提供一条新的途径。
4、本发明提出一种基于光学影像信息、采用深度学习目标检测算法对边坡危岩运动落石进行检测和预警的装置及方法，通过广泛应用的一般光学摄像设备监测边坡危岩落石，利用改进的卷积神经网络识别可见光图像的运动落石信息，可显著提升边坡危岩运动落石的监测与报警效率，具有成本低廉、易于实现的优点，可解决当前边坡危岩监测仅能识别静态落石而无法识别运动落石的局限性，有效降低已有视频自动监测系统容易将边坡上赋存的静态岩块或路堑边坡坡脚赋存的静态岩块识别为落石而导致误报警的可能性，从而有利于提升边坡危岩落石灾害报警的可靠性。
技术实现思路
1、本发明的目的是为了克服以往技术的不足，提供一种基于可见光影像信息的边坡危岩运动落石识别方法及装置，此种方法不仅能够运用计算机视觉技术高效精准地实现对边坡动态物体的检测，而且能够结合深度学习目标检测模型识别和采集落石信息，并将获取的灾害信息通过光纤传输的方式传输给影像监控中心，方便工作人员进行复检和预警，从而实现对边坡落石灾害全流程、全方位的检测和预警。
2、本发明为实现上述目的，提供技术方案如下：
3、一方面，本发明提供一种基于可见光影像的边坡危岩运动落石识别方法，包括：
4、步骤s1：采用一种基于三帧法原理、结合中值滤波器和图像腐蚀的图像形态学方法处理的动态目标检测算法判断区域内物体的运动状态，当出现明显运动目标时，若出现运动物体，采用训练完成的、网络结构经剪枝优化的改进卷积神经网络模型识别影像中的所有岩块(包括运动和静止的)，框选并存储岩块在图像中的位置坐标；
5、优选的，采用基于三帧法原理的运动检测算法进行运动检测，所述运动检测算法是一种轻量、高效的计算机视觉算法，其工作原理为先对影像进行灰度处理，再进行像素差分，对运算结果二值化。特别的，设置该算法的运动阈值为40，即针对差分结果中像素灰度绝对值小于40的部分，将其灰度值赋为0，即黑色，针对差分结果中像素灰度绝对值大于40的部分，将其灰度值赋值255，即白色，该二值化操作旨在突出连续三帧画面中像素灰度变化较大的部分，以获取运动目标的位置信息。
6、优选的，由于二值化后的图像中可能依然存在周围环境微小扰动产生的噪点，这部分环境噪声可能源于树叶晃动、光线变化等原因，没有预警价值，且可能影响到边坡落石灾害的判断，因此，进一步采用数字图像处理技术进行去除该类噪声。该步骤具体内容为：首先采用中值滤波器去除简单的浮点噪声，然后采用图像腐蚀对平滑后的图像进行处理。腐蚀运算的含义为：每当在目标图像中找到一个与结构元素相同的子图像，就将该子图像中与结构元素的原点位置对应的那个像素位置标注出来，目标图像上被标注出来的所有像素组成的集合，为腐蚀运算的结果。实质是在目标图像中标出那些与结构元素相同的子图像的原点位置的像素。设x为目标图像，b为结构元素，则目标图像x被结构元素b腐蚀的数学表达式为：
7、
8、其中，x表示集合平移的位移量，是腐蚀运算的运算符。腐蚀后的图像由于边界被缩减，进一步消除了图像中的细微干扰。
9、优选的，当s1中运动检测算法连续6帧检测到运动目标，将通过逻辑门开启影像设备进行摄像，同时，由信号发出端发送信号来激活微型电脑，并将摄像传入电脑硬盘，为后续复检提供依据。
10、优选的，在运动检测算法检测到运动目标后，影像设备配备的信号发出端将发送信号激活微型电脑的视觉识别功能，进一步利用预训练的、经卷积模块剪枝的改进卷积神经网络模型对图像进行识别，并采用非极大值抑制方法，通过计算iou值得到合适落石锚框信息储存在集合中，以供进行调用和判断。
11、优选的，该改进卷积神经模型网络的设计借鉴了yolov7目标检测模型网络结构，且对原模型的elan卷积模块(一种用于图像超分辨率的高效远程注意力网络模块)进行了合理的剪枝优化，形成了卷积路径更短，表征能力较强的卷积模块s-elan(simple-elan)。该模块的特点是，其在设计上较elan减少了两个cbs模块，但输入、输出的通道保持不变，优化后，模型的卷积深度变浅，一定程度上降低了其对复杂目标的特征提取能力，但由于落石目标的语义信息较为简单，其边缘几何信息在浅层的卷积模块中已被充分提取，因此，该优化方法不仅不影响针对落石目标检测模型的检测精度，反而避免了过深的卷积路径可能导致的部分细节信息在传递中丢失的问题。此外，采用简化后的模块，使模型的训练效率与检测效率都得到明显提升，主要体现在模型推理速度fps的显著提高。总的来说，经剪枝后的模型在精度与效率上进一步适应于落石检测的工程任务。
12、步骤s2：基于卡尔曼滤波对所有识别出的岩块目标进行跟踪编号，若同一编号的岩块目标位置坐标在相隔指定数量的帧间发生明显变化，则判定该岩块目标为运动落石；
13、优选的，采用卡尔曼滤波器遍历所有识别为岩石的目标，根据前后帧位置的对比，对位置、外观相接近的目标赋予相同的编号，当同一编号的岩块目标的位置坐标发生明显变化，则将该目标判断为运动落石。具体地，计算目标的位置坐标的方法为，假设当前帧中，锚定目标的检测框左上角的图像位置为(x1,y1)，下一帧，该检测框左上角的图像位置为(x2,y2)，则其位置变化d可由下式求得：
14、
15、当d值在指定的画面帧内超过某一设计阈值，如在三个画面帧内，d值超过15像素，即平均每帧变动5像素，则判断该目标为移动物体，进而将检测框标定为运动落石。
16、步骤s3：将截取的落石图像通过网络协议同步传输至云端，广泛推送给移动设备。
17、优选的，将截取到的落石图像通过rtsp网络传输协议将截图上传至云端空间，具体地，rtsp网络传输协议通过影像设备的ip连接其摄像内容，并经由装置发射端上传至云端空间，再由云端空间传输图像信息至前端移动设备上。
18、优选的，在移动设备中，基于python语言开发了一套能够进行报警信息接收、影像监控、人工复检及自定义报警的多功能可视化操作系统，用户在收到云端传输到手机的截图后可远程打开监控影像设备进行人工复检确认。确认落石信息可靠后，通过操作系统中的一键远程报警功能实现自定义报警。
19、另一方面，本发明提供一种基于可见光影像的边坡危岩运动落石识别装置，该装置包括图像采集处理及声光报警模块和数据处理模块。
20、所述图像采集处理及声光报警模块用于采集、处理摄像设备所监测到的图像和向云端传输有效图像信息，同时也接收由可视化操作系统传来的报警信息，其中，图像采集部分的装置包括监控摄像设备、稳固支架以及配备的移动电源线。
21、所述稳固支架包括主固定杆、影像设备固定杆以及固定钢板，底座为由螺栓固定式底板，用于固定摄像设备、嵌入连接杆以及微型电脑，可通过调节螺栓松紧可实现影像设备、声光报警器的拆换。
22、所述主固定杆为空心柱体，全杆有五节凸出的环形钢箍，每个钢箍各开一个连接孔，以便与固定钢板通过螺栓连接。固定钢板通过如图方式连接主固定杆，其横向伸出的两翼各有两个连接孔，以便通过螺栓方式与微型电脑的后板相接，由于主杆本身为圆柱形，直接焊接微型电脑会使接触面过窄，导致应力集中大、微型电脑后板受弯剪力较大的问题，采用该设计间接连接微型电脑，能提升整体设备的稳定性。
23、所述声光报警部分通过螺杆与伸出的空心细杆杆端连接，与微型电脑通过杆内电线连接，能够接收微型电脑传输的报警信号进行报警。
24、所述数据处理模块装置包括配置有深度学习模型及检测算法的微型电脑、电脑后固定板以及信号发送端、信号接收端。
25、与现有技术相比，本发明的有益效果是：
26、(1)本发明通过广泛应用的一般光学摄像设备监测边坡危岩落石，利用改进的卷积神经网络识别可见光图像的运动落石信息，可显著提升边坡危岩运动落石的监测与报警效率，与其他的落石监测技术相比，具有经济成本低廉、易于实现的优点，能有效解决人工巡检边坡危岩落石存在的效率低、成本高的不足。
27、(2)本发明可解决当前边坡危岩监测仅能识别静态落石而无法识别运动落石的局限性，有效降低已有视频自动监测系统容易将边坡上赋存的静态岩块或路堑边坡坡脚赋存的静态岩块识别为落石而导致误报警的可能性，从而有利于提升边坡危岩落石灾害报警的可靠性。
28、(3)本发明采用灰度处理、中值滤波器、图像腐蚀几种数字图像处理技术，对影像进行去噪和平滑，将经典三帧法与深度学习及卡尔曼滤波器相结合，针对特定运动目标进行识别和定位，由此提供了有效的运动落石检测和筛选方法，解决了采用单纯识别动态物体策略时，现场可能出现非岩石的运动物体(如树枝、小动物等)的错误识别为运动落石的技术难题。
29、(4)本发明采用改进的卷积神经网络目标检测模型是一种轻量级的高效语义识别模型；该模型通过减少elan模块中cbs模块的数量减少算力消耗，形成效率更高的卷积模块，即s-elan模块，避免了过深卷积可能导致的落石边缘信息丢失、模型训练算力要求大、推理效率变低的问题，能为边坡危岩运动落石特别是小尺寸运动落石的高效精准识别的实现提供了技术支撑。
30、(5)本发明所提供的一种基于可见光影像的边坡危岩运动落石识别和预警装置。此装置充分考虑运动目标检测与物体识别间的联动，具有识别到运动物体后再激活微型电脑的运动落石识别计算机程序判断运动物体是否岩块进而追踪落石运动目标。微型电脑只向云端服务器发送具有一定可信度的运动落石截图信息，无需传送大容量的可见光影像数据，能显著提高数据传送云平台的可靠性并节省云端存储空间，进而能有效降低监测与报警的经济成本。此装置对边坡危岩运动落石长期监测与实时报警的适用性较高。
1.一种基于可见光影像的边坡危岩运动落石识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种经卷积模块剪枝优化的改进卷积神经网络模型，其特征在于，所述模型借鉴原yolov7网络结构，并针对该网络的卷积模块进行了剪枝优化；具体地，通过对原网络的elan组合卷积模块进行剪枝优化，形成名为s-elan（simple-elan）的全新卷积模块；该模块相较于原模块，在卷积路径上减少了两个cbs卷积模块，且通过更改了卷积参数，确保了该模块在进行卷积计算时，通道数与原elan模块保持不变；s-elan模块简化了模型特征提取的过程，使模块更专注于目标的轮廓边缘，防止模型在进一步的特征提取中丢失细致的外观信息，从而更适用于落石这类特征简单的目标；此外，由于s-elan模块的卷积路径更短，有效减少了网络模型的计算量，提升了模型的推理速度，更适用于运动落石检测与识别。
3.根据权利要求1所述的一种经卷积模块剪枝优化的改进卷积神经网络模型，其特征在于，所述模型在主干网络（backbone）的设计上，根据原yolov7主干网络进行了深度上的削减，简化了部分卷积模块，以提升主干网络特征提取的效率。
4.一种根据权利要求1-3中任一项所述的一种基于可见光影像的边坡危岩运动落石识别方法的基于可见光影像的边坡危岩运动落石识别装置，其特征在于，包括：该装置包括图像采集处理及声光报警模块和数据处理模块；
5.根据权利要求4所述的一种基于可见光影像的边坡危岩运动落石识别装置，其特征在于，所述稳固支架用于固定可见光摄像设备、嵌入连接杆以及微型电脑，包括主固定杆、摄像设备固定杆以及固定钢板，底座为由螺栓固定式底板，通过调节螺栓松紧可将主杆进行平面旋转；
