本发明属于输电线路缺陷检测,涉及一种多模型级联输电线路缺陷识别误报率优化方法及系统。
背景技术:
1、无人机自主巡检作为替代人工巡检的一种输电数字化转型运维新模式,自诞生以来就备受关注。无人机自主巡检可以实现计划编制-任务制定-任务派发-巡检作业-安全监控-数据回传-图像识别-缺陷流转的全业务流数字化线上管理,而基于人工智能的图像识别技术是该业务流程中的核心技术手段,通过该技术手段,可以极大的减少人工缺陷识别的时间。
2、当前人工智能平台的缺陷识别模型主要通过训练缺陷样本(正样本)来构建,然而图片缺陷场景复杂性较高,缺陷样本并不能完全覆盖,易将正常目标误判为异常目标,例如导线上的间隔棒识别为导线异物,从而导致基层班组还需花大量人力去校核编辑误判的缺陷,极大的影响了自主巡检过程中的自动化水平。
技术实现思路
1、为了克服现有技术的上述缺陷,本发明提供了一种多模型级联输电线路缺陷识别误报率优化方法及系统。
2、本发明通过下述技术方案来实现。一种多模型级联输电线路缺陷识别误报率优化方法,包括:
3、步骤s1:接收巡视图片;
4、步骤s2:调用缺陷识别模型对巡视图片进行缺陷识别,提取每个缺陷中的缺陷类型和缺陷位置;
5、步骤s3:根据缺陷类型调用对应的负样本识别模型进行负样本识别,得到负样本识别模型研判结果;
6、步骤s4: 将负样本识别模型研判结果与缺陷识别模型提取的缺陷类型和缺陷位置进行对比,判断是否为误报缺陷;如果不是误报缺陷,则将缺陷放入输出的缺陷信息中,如果是误报缺陷,则剔除该缺陷;
7、步骤s5:遍历巡视图片的所有缺陷并分别调用不同的负样本识别模型,根据输出的缺陷信息开展综合研判,最终形成综合研判结果。
8、进一步优选,步骤s3的具体过程如下:
9、步骤s3-1:根据巡视特征对巡视图片进行增强处理,然后用增强后的图片样本训练负样本识别模型;
10、步骤s3-2:通过多重叠度的负样本识别模型调用策略实现负样本的识别;将巡视图片裁剪成若干张有重叠度的子图片,并将子图片送入负样本识别模型中进行识别,对各子图片在负样本识别模型中的识别目标结果进行合并,然后输出负样本识别模型研判结果。
11、进一步优选,所述增强处理包括对比度增强和逆光处理。
12、进一步优选,对比度增强处理过程为:首先计算图像直方图分布情况,然后基于图像直方图的分布情况,进行图像直方图均衡化处理。
13、进一步优选,图像直方图均衡化处理步骤如下:
14、根据图像直方图分布情况,计算平均亮度值;
15、遍历每个像素,通过增加像素和像素之间的亮度差,提高对比度。
16、进一步优选,所述逆光处理包括:构建多个方向、强度的光照分布模板,将光照分布模板应用在巡视图片上。
17、进一步优选,对于巡视图片,采用线性插值的方式将光照分布模板和巡视图片进行融合,通过在不同区域叠加光照分布模板,模拟光照效果。
18、进一步优选,采用yolox模型作为负样本识别模型。
19、进一步优选,采用labelimg标注负样本缺陷。
20、进一步优选,步骤s3-2中,对各子图片在负样本识别模型中的识别目标结果进行合并:
21、步骤s3-2-1:遍历分割后的每个子图片,q为分割后的子图片总数量;对每个子图片都调用负样本识别模型进行识别,得到识别目标结果集合,其中为子图片的第n个识别目标信息,e为识别目标个数,是识别目标的目标类型,是识别目标在子图片上的包围盒信息,的定义为,其中分别为包围盒在子图片上x轴方向的最小值、x轴方向的最大值,y轴方向的最小值,y轴方向的最大值;
22、步骤s3-2-2:将每个识别目标结果集合中识别目标的包围盒坐标转换为相对于巡视图片的包围盒坐标,具体步骤为:遍历识别目标结果集合中的每个识别目标信息,读取其包围盒信息,将加上子图片左上角在巡视图片上的位置坐标;
23、步骤s3-2-3:构造一个最终目标识别结果的集合,其中为最终识别目标信息,是最终识别预测目标的目标类型,是最终识别目标记录在巡视图片上的包围盒信息,k为识别记录数量;
24、步骤s3-2-4:依次遍历子图片的识别目标结果集合;对于中每个识别目标信息与集合n中的每个最终识别目标信息做对比,判断目标类型与是否相同;
25、步骤s3-2-5:如果相等,则合并与的包围盒得到合并后的包围盒;合并规则为其中是记录中的包围盒参数,是记录中的包围盒参数;并将包围盒更新到记录的上;
26、步骤s3-2-6:如果不相等,说明是新发现的一个预测目标,则将记录放到最终目标识别结果的集合n中,最终目标识别结果的集合n即为负样本识别模型研判结果。
27、进一步优选,调用不同的负样本识别模型,开展综合研判,最终形成综合研判结果,包括以下步骤:
28、步骤s5-1:首先调度模块在接收到巡视图片及缺陷识别模型提取的对应缺陷集合m后,根据缺陷集合m中的缺陷类型,逐个查找是否有对应的负样本识别模型,如果有,则将这些缺陷单独提取出来形成集合a,并调用负样本识别模型对集合a进行二次研判;缺陷集合m集合中剔除集合a的部分为集合p;
29、步骤s5-2:调度模块调用负样本识别模型对集合a进行研判,形成负样本研判结果集合b;
30、步骤s5-3:综合研判模块在接收到集合a、p、b后,对缺陷进行综合研判,过程如下:
31、步骤s5-3-1:遍历集合a的每个缺陷记录a,得到包围盒c;
32、步骤s5-3-2:对于包围盒c遍历负样本研判结果集合b,判断负样本研判结果集合b中的缺陷记录是否与c相交;
33、步骤s5-3-3:如果相交,则从集合a中剔除该缺陷记录a;
34、步骤s5-3-4: 判断集合a的元素是否遍历完,没有遍历完,则重复步骤s5-3-1~步骤s5-3-3,直到遍历完集合a中的所有元素;
35、步骤s5-3-5:遍历完,则将集合a和集合p合并形成最终的综合研判结果集合e。
36、本发明还提供了一种多模型级联输电线路缺陷识别误报率优化系统,包含缺陷识别模型、负样本识别模型库以及多模型级联系统3部分:
37、缺陷识别模型:初步识别巡视图片中存在的缺陷信息,缺陷信息包括缺陷类型和缺陷位置;
38、多模型级联系统:接收巡视图片以及缺陷识别模型输出的缺陷信息;根据缺陷类型从负样本识别模型库中调用对应的负样本识别模型开展综合研判,剔除错误的缺陷信息,最终形成综合研判后的缺陷信息;
39、负样本识别模型库:包括若干不同的负样本识别模型,用于筛选缺陷识别模型误判的缺陷。
40、本发明可以在不改变现有模型的基础上,通过补充负样本识别模型以及多模型级联系统集成的手段实现整体误报率的压降,能够有效减少无人机系统图像识别的误报率。
41、本发明能够极大的提升自主巡检过程中的人工审核效率,提高自主巡视中缺陷辨识的自动化程度,减少缺陷复核所需的人力成本投入,提升无人机巡检图像智能识别技术实用化水平,辅助基层班组开展高质量、高精准要求的自主巡检拍照及缺陷识别研判。
1.一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,包括:
2.根据权利要求1所述的一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,步骤s3的具体过程如下:
3.根据权利要求2所述的一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,所述增强处理包括对比度增强和逆光处理。
4.根据权利要求3所述的一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,对比度增强处理过程为:首先计算图像直方图分布情况,然后基于图像直方图的分布情况,进行图像直方图均衡化处理。
5.根据权利要求4所述的一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,图像直方图均衡化处理步骤如下:
6.根据权利要求3所述的一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,所述逆光处理包括:构建多个方向、强度的光照分布模板,将光照分布模板应用在巡视图片上。
7.根据权利要求6所述的一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,对于巡视图片,采用线性插值的方式将光照分布模板和巡视图片进行融合,通过在不同区域叠加光照分布模板,模拟光照效果。
8.根据权利要求2所述的一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,步骤s3-2中,对各子图片在负样本识别模型中的识别目标结果进行合并:
9.根据权利要求1所述的一种多模型级联输电线路缺陷识别误报率优化方法,其特征在于,调用不同的负样本识别模型,开展综合研判,最终形成综合研判结果,包括以下步骤:
10.一种多模型级联输电线路缺陷识别误报率优化系统,用于实施权利要求1-9任意一项所述的多模型级联输电线路缺陷识别误报率优化方法,其特征在于,包含缺陷识别模型、负样本识别模型库以及多模型级联系统3部分: