本申请涉及视觉检测,具体涉及一种线束卡箍装配参数获取方法、装置、介质及电子设备。
背景技术:
1、当前,在航空制造领域,飞机总装配过程大多由人工安装飞机舱位的各个零部件,其中柔性线束的安装是装配飞机的重要一环。柔性线束的位置由线束卡箍固定,为了确保柔性线束的高质量安装,线束卡箍的装配方向和角度就变得至关重要。线束卡箍的装配方向和角度不合适将造成线束和卡箍的连接处存在装配应力,由此对飞机状态造成不利影响,进而影响飞机安全。因此,检测卡箍的装配方向和角度成为一项相当重要的任务。
2、但目前在飞机总装过程中,检测卡箍装配方向和角度使用的方法是人工目视检测。人工目视检测的水平较低,存在如下缺点:第一,人工目视检测时间过长,检测效率低;第二,人工目视检测易出错,尤其是人工长时间目视检测以后,因为视觉疲劳而导致出错的情况增加。
技术实现思路
1、本申请的主要目的在于提供一种线束卡箍装配参数获取方法、装置、介质及电子设备,旨在解决现有技术中基于人工目视检测线束卡箍装配参数的水平较低的问题。
2、为实现上述目的,本申请的实施例采用的技术方案如下:
3、第一方面,本申请实施例提供一种线束卡箍装配参数获取方法,包括以下步骤:
4、获取原始图像;
5、将原始图像输入检测模型,输出位置图像;其中,检测模型用于以第一矩形框标注原始图像上的卡箍位置以及在第一矩形框内以第二矩形框标注螺栓位置;
6、确定第一矩形框的中心指向第二矩形框的中心的向量,作为卡箍装配方向;
7、根据卡箍装配方向与水平方向的角度,获取卡箍装配角度。
8、在第一方面的一种可能实现方式中,将原始图像输入检测模型,输出位置图像之前,方法还包括:
9、在若干线束卡箍图像上以第一矩形框标注卡箍位置后,在第一矩形框内以第二矩形框标注螺栓位置,获得标注图像;
10、以标注图像为训练样本,训练获得检测模型。
11、在第一方面的一种可能实现方式中,检测模型包括特征提取模块、特征融合模块以及输出模块,其中:
12、特征提取模块用于提取训练样本的多个卷积特征;其中,多个卷积特征的尺寸相对输入图像的尺寸等比缩小;
13、特征融合模块用于利用上采样操作和特征通道串联操作融合多个卷积特征,获得融合特征;
14、输出模块用于根据融合特征输出第一矩形框和第二矩形框。
15、在第一方面的一种可能实现方式中,输出模块包括卡箍输出模块、后处理模块以及螺栓输出模块,其中:
16、卡箍输出模块用于根据融合特征,输出卡箍分类图和卡箍距离图;
17、后处理模块用于根据卡箍分类图和卡箍距离图,获得第一矩形框;
18、螺栓输出模块用于将第一矩形框投影至融合特征上,并基于投影后对应的特征输出螺栓分类图和螺栓距离图;
19、后处理模块还用于根据螺栓分类图和螺栓距离图,获得第二矩形框。
20、在第一方面的一种可能实现方式中,根据融合特征,输出卡箍分类图和卡箍距离图,包括:
21、将融合特征连接一个卷积核为1*1、通道数为1的卷积层构成卡箍分类图分支,输出卡箍分类图;
22、将融合特征连接一个卷积核为1*1、通道数为4的卷积层构成卡箍矩形框的距离回归分支,输出卡箍距离图。
23、在第一方面的一种可能实现方式中,将第一矩形框投影至融合特征上,并基于投影后对应的特征输出螺栓分类图和螺栓距离图,包括:
24、将第一矩形框投影至融合特征上,获得对应的投影特征;
25、将投影特征连接一个卷积核为1*1、通道数为1的卷积层构成螺栓分类图分支,输出螺栓分类图;
26、将投影特征连接一个卷积核为1*1、通道数为4的卷积层构成螺栓矩形框的距离回归分支,输出螺栓距离图。
27、在第一方面的一种可能实现方式中,根据卡箍分类图和卡箍距离图,获得第一矩形框,包括:
28、根据卡箍分类图阈值对卡箍分类图进行过滤,获得目标卡箍分类图;
29、根据目标卡箍分类图,确定卡箍距离图中的四个第一边界距离;
30、根据四个第一边界距离,计算第一矩形框的坐标并进行非极大值抑制,获得第一矩形框;
31、根据螺栓分类图和螺栓距离图,获得第二矩形框,包括:
32、根据螺栓分类图阈值对螺栓分类图进行过滤,获得目标螺栓分类图;
33、根据目标螺栓分类图,确定螺栓距离图中的四个第二边界距离;
34、根据四个第二边界距离,计算第二矩形框的坐标并进行非极大值抑制,获得第二矩形框。
35、第二方面,本申请实施例提供一种线束卡箍装配参数获取装置,包括:
36、获取模块,获取模块用于获取原始图像;
37、检测模块,检测模块用于将原始图像输入检测模型,输出位置图像;其中,检测模型用于以第一矩形框标注原始图像上的卡箍位置以及在第一矩形框内以第二矩形框标注螺栓位置;
38、方向获取模块,方向获取模块用于确定第一矩形框的中心指向第二矩形框的中心的向量,作为卡箍装配方向;
39、角度获取模块,角度获取模块用于根据卡箍装配方向与水平方向的角度,获取卡箍装配角度。
40、第三方面,本申请实施例提供一种计算机可读存储介质,储存有计算机程序,计算机程序被处理器加载执行时,实现如上述第一方面中任一项提供的线束卡箍装配参数获取方法。
41、第四方面,本申请实施例提供一种电子设备,包括处理器及存储器,其中,
42、存储器用于存储计算机程序;
43、处理器用于加载执行计算机程序,以使电子设备执行如上述第一方面中任一项提供的线束卡箍装配参数获取方法。
44、与现有技术相比,本申请的有益效果是:
45、本申请实施例提出的一种线束卡箍装配参数获取方法、装置、介质及电子设备,该方法包括:获取原始图像;将原始图像输入检测模型,输出位置图像;其中,检测模型用于以第一矩形框标注原始图像上的卡箍位置以及在第一矩形框内以第二矩形框标注螺栓位置;确定第一矩形框的中心指向第二矩形框的中心的向量,作为卡箍装配方向;根据卡箍装配方向与水平方向的角度,获取卡箍装配角度。本申请利用检测模型从大数据中学习到的识别能力,对原始图像实现快速的判别,并在其上准确标注出用于标识卡箍位置和螺栓位置的矩形框,进而可以根据卡箍与螺栓的装配关系,确定由第一矩形框的中心指向第二矩形框的中心的向量作为卡箍装配的方向,其装配的方向与水平方向的角度就是卡箍的装配角度,实现线束卡箍装配参数的快速准确获取。
1.一种线束卡箍装配参数获取方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的线束卡箍装配参数获取方法,其特征在于,所述将所述原始图像输入检测模型,输出位置图像之前,所述方法还包括:
3.根据权利要求2所述的线束卡箍装配参数获取方法,其特征在于,所述检测模型包括特征提取模块、特征融合模块以及输出模块,其中:
4.根据权利要求3所述的线束卡箍装配参数获取方法,其特征在于,所述输出模块包括卡箍输出模块、后处理模块以及螺栓输出模块,其中:
5.根据权利要求4所述的线束卡箍装配参数获取方法,其特征在于,所述根据所述融合特征,输出卡箍分类图和卡箍距离图,包括:
6.根据权利要求4所述的线束卡箍装配参数获取方法,其特征在于,所述将所述第一矩形框投影至所述融合特征上,并基于投影后对应的特征输出螺栓分类图和螺栓距离图,包括:
7.根据权利要求4所述的线束卡箍装配参数获取方法,其特征在于,所述根据所述卡箍分类图和所述卡箍距离图,获得所述第一矩形框,包括:
8.一种线束卡箍装配参数获取装置,其特征在于,包括:
9.一种计算机可读存储介质,储存有计算机程序,其特征在于,所述计算机程序被处理器加载执行时,实现如权利要求1-7中任一项所述的线束卡箍装配参数获取方法。
10.一种电子设备,其特征在于,包括处理器及存储器,其中,
