本发明属于三维物体检测领域,具体涉及一种基于pointpillars改进的钢结构杆件检测方法、介质及设备。
背景技术:
1、在房屋建造领域,钢结构是房屋建筑的主要承重部分,确保每根杆件的位置、尺寸和角度正确对于整个结构的完整性至关重要,错误的安装或未检测到的损坏可能导致结构不稳定,增加施工期间发生事故的风险,通过自动化检测,不仅可以在早期发现问题,避免后续更昂贵的维修和更换,还可以减少人工检查的成本和时间,同时提高检测的准确性。因此,实现房屋建造中的钢结构杆件的检测具有重要意义。
2、相比传统的测量工具,激光雷达能够提供精确的三维空间数据,创建出高精度的三维点云模型,可以在夜晚或低光照条件下稳定工作,适应不同的气候和光照条件,但施工产生的细小粉尘颗粒或大的碎石颗粒,会阻碍激光雷达的激光发射和反射,产生较多的点云噪声。因此,去除因建造施工而产生的点云噪声具有重要意义。
3、将激光雷达运用到建筑领域用以检测钢结构,可以在不干扰正常施工的情况下进行,降低了人工测量带来的安全风险,通过对钢结构的定期扫描,可以及时发现潜在的结构问题,实现预防性维护,避免更大的损失,能够提升钢结构杆件检测的准确性和效率,还能够增强建筑施工的整体质量和安全性。因此,实现激光雷达的点云去噪并提高房屋建造过程中的钢结构杆件检测精度具有重要意义。
技术实现思路
1、本发明针对现有技术中的不足,提供一种基于pointpillars改进的钢结构杆件检测方法、介质及设备,旨在解决房屋建设中钢结构杆件检测问题。
2、为实现上述目的,本发明采用以下技术方案:
3、基于pointpillars改进的钢结构杆件检测方法,其特征在于,包括如下步骤:
4、采集钢结构杆件的点云数据;
5、将采集到的点云数据构建kd树进行大尺度去噪;
6、对大尺度去噪后的点云数据进行三维导向滤波完成小尺度去噪;
7、将小尺度去噪后的点云数据输入pointpillars网络中进行训练;
8、采用训练后的pointpillars网络对钢结构杆件进行检测。
9、为优化上述技术方案,采取的具体措施还包括:
10、进一步地,所述采集钢结构杆件的点云数据,具体为:
11、利用激光雷达对建设现场的钢结构杆件进行点云数据采集,制作用于pointpillars网络的训练集与测试集。
12、进一步地,所述将采集到的点云数据构建kd树进行大尺度去噪,具体为:
13、对点云数据进行统计滤波构建kd树;
14、计算点云数据中的每一个点p(x,y,z)与以p为中心的邻域内k个邻居点qi(xi,yi,zi)的平均距离获取公式为:
15、
16、将平均距离与设定半径l进行比较:当时,该点非外部噪点,则保留该点;反之,该点为外部噪点,则去除该点;
17、其中,所述设定半径l的获取公式为:
18、
19、l=μ+τσ;
20、式中,μ代表所有平均距离的均值;n代表输入点云数据的所有点的数目;σ代表所有平均距离的标准差;τ代表比例系数,与局部邻域内点的个数k有关。
21、进一步地,所述对大尺度去噪后的点云数据进行三维导向滤波完成小尺度去噪,具体为:
22、确定点云数据中每个点pi的邻域n(pi);
23、使用r球策略搜索每个点pi的邻域n(pi)={pij∈p},其中pij表示pi周围的第j个邻域点,p表示邻域点集合;
24、利用最小化代价函数求e(ai,bi)的最优解,获取公式为:
25、
26、
27、式中,ai与bi为所求系数,ω是正则化参数;是点pi邻域的质心,
28、根据求解的ai与bi,得到三维导向滤波后的点云p′i=aipi+bi。
29、进一步地,所述pointpillars网络包括特征编码网络、骨干网络和检测器;
30、所述特征编码网络对输入的点云数据进行体素编码,生成伪图像特征图;
31、所述骨干网络采用特征金字塔结构提取伪图像特征图的多尺度特征信息,并对多尺度特征信息进行特征融合,输出高级特征图;
32、所述检测器根据骨干网络输出的高级特征图进行边界框预测,用于定位钢结构杆件。
33、进一步地,所述特征编码网络的处理过程如下:
34、将输入的点云数据按照x和y轴划分成多个网格,每个网格内的点云数据被视为一个柱体内的点,形成张量(x,y,z,r,xc,yc,zc,xp,yp),其中x、y、z、r为送入的点云数据信息,x、y、z表示点坐标,r表示激光反射强度,xc、yc、zc为该点网格中心坐标,xp、yp为点与几何中心的相对位置;
35、将每个柱体内的点云数据进行采样或填充,以保证每个柱体具有相同数量的点云数据,形成一个(d,p,n)的张量,其中d是维度,p是非空柱体的数量,n是每个柱体内的点云数据数量;
36、使用pointnet对张量化的点云数据进行特征提取,将d维点云特征映射到更高维度的特征空间c,获得(c,p,n)的张量;
37、对每个柱体进行最大池化操作,以获得每个柱体中最显著的特征,形成一个(c,p)的二维特征图,将p重新排列成图像的宽度和高度(w,h),生成一个(c,h,w)的伪图像特征图i。
38、进一步地,所述骨干网络包括交替串联的3个convnext模块和3个卷积层,对特征编码网络生成的伪图像特征图进行下采样处理,其中各卷积层输出的特征图分别经过反卷积后进行特征融合,最终输出高级特征图。
39、进一步地,所述检测器使用全连接层来预测边界框的参数,包括中心点坐标、高度、宽度、长度和旋转角度。
40、相应地,本发明还提出了一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序使计算机执行如上所述的基于pointpillars改进的钢结构杆件检测方法。
41、相应地,本发明还提出了一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行计算机程序时,实现如上所述的基于pointpillars改进的钢结构杆件检测方法。
42、本发明的有益效果是:本发明采用分步式滤波,不仅可以有效减少大量离群点云噪声,还可以对检测物体周围的点云噪声进行滤波使得模型训练更加精确;本发明利用convnext模块改进的pointpillars网络,通过不同尺度的特征提取,捕获多尺度的特征信息,并且以更大的卷积核获取更加丰富的特征信息,使得细节检测识别度更加精确;本发明相较于其他传统目标算法方法,对于钢结构杆件具有更精确的识别率。
1.基于pointpillars改进的钢结构杆件检测方法,其特征在于,包括如下步骤:
2.如权利要求1所述的基于pointpillars改进的钢结构杆件检测方法,其特征在于:所述采集钢结构杆件的点云数据,具体为:
3.如权利要求1所述的基于pointpillars改进的钢结构杆件检测方法,其特征在于:所述将采集到的点云数据构建kd树进行大尺度去噪,具体为:
4.如权利要求1所述的基于pointpillars改进的钢结构杆件检测方法,其特征在于:所述对大尺度去噪后的点云数据进行三维导向滤波完成小尺度去噪,具体为:
5.如权利要求1所述的基于pointpillars改进的钢结构杆件检测方法,其特征在于:所述pointpillars网络包括特征编码网络、骨干网络和检测器;
6.如权利要求5所述的基于pointpillars改进的钢结构杆件检测方法,其特征在于:所述特征编码网络的处理过程如下:
7.如权利要求5所述的基于pointpillars改进的钢结构杆件检测方法,其特征在于:所述骨干网络包括交替串联的3个convnext模块和3个卷积层,对特征编码网络生成的伪图像特征图进行下采样处理,其中各卷积层输出的特征图分别经过反卷积后进行特征融合,最终输出高级特征图。
8.如权利要求5所述的基于pointpillars改进的钢结构杆件检测方法,其特征在于:所述检测器使用全连接层来预测边界框的参数,包括中心点坐标、高度、宽度、长度和旋转角度。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序使计算机执行如权利要求1-8任一项所述的基于pointpillars改进的钢结构杆件检测方法。
10.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行计算机程序时,实现如权利要求1-8任一项所述的基于pointpillars改进的钢结构杆件检测方法。