本发明涉及一种焊缝跟踪识别方法及装置。
背景技术：
1、焊接是一种常见的金属连接技术，通过加热和熔化金属材料，使其相互融合，并在冷却后形成坚固的连接。随着工业的发展，应用中对焊接技术的要求越来越高。传统焊接方法在焊缝提取和跟踪过程中难以实现高精度的定位和跟踪，这可能导致焊缝质量下降，甚至影响整个焊接结构的稳定性和强度。因此，需要一种新的焊缝提取和跟踪技术，实现焊缝自动化提取和跟踪识别。
技术实现思路
1、为了实现焊缝自动化提取和跟踪识别，本发明提出一种焊缝跟踪识别方法及装置本发明提出的技术方案如下：
2、第一方面，本发明提供一种焊缝跟踪识别方法，包括：
3、获取焊接场景的场景图像和焊接场景中的工件点云；
4、计算所述工件点云中的每个点的法线；
5、利用预设平面拟合算法拟合得到所述工件点云中的所有平面；
6、从所述所有平面中选择基准平面，基于所述基准平面进行焊缝提取，得到第一焊缝；
7、根据所述场景图像确定已焊接焊缝区域；
8、将所述工件点云投影到二维图像，确定所述工件点云中每个点对应的像素坐标；
9、根据所述像素坐标、所述已焊接焊缝区域、所述法线和所述基准平面，提取所述第一焊缝中的所有已焊接点，得到目标焊缝。
10、在一个或一些实施例中，所述根据所述像素坐标、所述已焊接焊缝区域、所述法线和所述基准平面，提取所述第一焊缝中的所有已焊接点，得到目标焊缝，包括：
11、遍历所述第一焊缝中的每个三维点：
12、获取所述三维点对应的所述像素坐标，基于所述像素坐标确定所述场景图像中与所述三维点最近的目标像素点；
13、获取所述三维点对应的所述法线；
14、若所述目标像素点在所述已焊接焊缝区域中和/或所述法线不与所述基准平面垂直或水平，则确定所述三维点为已焊接点；
15、提取所述第一焊缝中的所有已焊接点得到目标焊缝。
16、在一个或一些实施例中，所述将所述工件点云投影到二维图像，确定所述工件点云中每个点对应的像素坐标，包括：
17、获取相机的外参矩阵和内参矩阵，根据所述外参矩阵和所述内参矩阵通过下式确定投影矩阵：
18、tt＝tin*tout
19、式中，tt表示投影矩阵，tin表示内参矩阵，tout表示外参矩阵；
20、使用所述投影矩阵对所述工件点云中每个点进行齐次变换，基于下式确定对应的投影后的二维坐标：
21、c2＝tt*ai
22、式中，c2表示投影后的二维坐标，ai表示工件点云中每个点；
23、将所述投影后的二维坐标进行归一化处理，得到归一化后的二维图像坐标；
24、将所述归一化后的二维图像坐标乘以所述场景图像的尺寸，得到对应的像素坐标。
25、在一个或一些实施例中，所述从所述所有平面中选择基准平面，基于所述基准平面进行焊缝提取，得到第一焊缝，包括：
26、从所述所有平面中选择基准平面；
27、将工件点云中位于所述基准平面的法线方向一侧的非平面点作为目标点，计算每一目标点到所述基准平面的距离，并将距离小于第一阈值的目标点加入初始焊缝点集；
28、对所述初始焊缝点集进行体素下采样处理，提取单一性点序列得到所述第一焊缝。
29、在一个或一些实施例中，所述计算所述工件点云中的每个点的法线，包括：
30、通过邻域搜索确定所述工件点云中的每个点的局部邻域；
31、从所述工件点云中选取一个点作为当前点，从所述当前点对应的局部邻域中选择邻域点集合；
32、计算所述邻域点集合的协方差矩阵；
33、对所述协方差矩阵进行svd特征值分解，得到特征值和对应的特征向量；
34、根据特征值的大小排序，选择最小特征值对应的特征向量作为当前点的法线；
35、从所述工件点云中选取下一个点作为当前点，重复上述确定法线的步骤。
36、在一个或一些实施例中，在所述根据所述场景图像确定已焊接焊缝区域之前，所述方法还包括：
37、通过下述方式对所述场景图像进行预处理：
38、将所述场景图像转换为灰度图像；
39、针对所述灰度图像中的每个像素，通过下述方式更新像素的像素值，得到预处理后的场景图像：
40、对像素选择一个预设尺寸的邻域窗口，将所述邻域窗口中的像素值进行排序，将排序后的像素值的中值作为像素的新像素值。
41、在一个或一些实施例中，所述根据所述场景图像确定已焊接焊缝区域，包括：
42、利用预先确定的最佳阈值分割所述预处理后的场景图像，将灰度值大于所述最佳阈值的像素作为前景像素；
43、将所述预处理后的场景图像中的所有前景像素所在的区域作为已焊接焊缝区域；
44、其中，所述最佳阈值通过下述方式确定：
45、根据各预设阈值分别分割所述预处理后的场景图像，确定各所述预设阈值下分割后图像的分割质量；
46、根据各所述预设阈值下分割后图像的分割质量，通过下式确定最佳阈值：
47、
48、式中，k表示最佳阈值，k表示预设阈值，表示预设阈值k下分割后图像的分割质量。
49、在一个或一些实施例中，所述分割后图像的分割质量通过下述方式确定：
50、对所述分割后图像进行统计，得到每个预设灰度级别下像素的数量；
51、根据所述每个预设灰度级别下像素的数量，确定每个预设灰度级别的像素概率；
52、根据各预设灰度级别的像素概率，确定分割后图像的分割质量。
53、第二方面，本发明提供一种焊缝跟踪识别装置，包括：
54、数据获取模块，用于获取焊接场景的场景图像和焊接场景中的工件点云；
55、法线计算模块，用于计算所述工件点云中的每个点的法线；
56、平面拟合模块，用于利用预设平面拟合算法拟合得到所述工件点云中的所有平面；
57、焊缝提取模块，用于从所述所有平面中选择基准平面，基于所述基准平面进行焊缝提取，得到第一焊缝；
58、区域确定模块，用于根据所述场景图像确定已焊接焊缝区域；
59、投影模块，用于将所述工件点云投影到二维图像，确定所述工件点云中每个点对应的像素坐标；
60、目标焊缝确定模块，用于根据所述像素坐标、所述已焊接焊缝区域、所述法线和所述基准平面，提取所述第一焊缝中的所有已焊接点，得到目标焊缝。
61、第三方面，本发明提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
62、存储器，用于存放计算机程序；
63、处理器，用于执行存储器上所存放的程序时，实现如第一方面所述的焊缝跟踪识别方法。
64、基于上述技术方案，本发明较现有技术而言的有益效果为：
65、本发明实施例提供的焊缝跟踪识别方法，通过获取焊接场景的场景图像和焊接场景中的工件点云，并计算工件点云中的每个点的法线，以及将工件点云投影到二维图像，确定每个点对应的像素坐标。在此基础之上，先利用预设平面拟合算法拟合得到工件点云中所有平面，基于从所有平面中选择的基准平面进行焊缝提取，得到第一焊缝；再根据场景图像确定已焊接焊缝区域，根据像素坐标、已焊接焊缝区域、法线和基准平面，提取第一焊缝中的已焊接点，得到目标焊缝。本发明利用了2d焊接图像和3d工件点云的互补优势，从而实现了对焊缝的精确提取和跟踪。2d焊接图像所提供的丰富表面纹理、颜色和形状信息，为焊缝外观特征的识别提供了重要依据。同时，3d工件点云则包含了焊缝在三维空间中的准确位置和方向，为焊缝的精确定位和跟踪提供了基础数据。通过将2d焊接图像和3d工件点云信息进行结合，提高了焊缝提取和跟踪的准确性。这种综合融合的方式有效弥补了单一信息的局限性，使得获取的焊缝状态信息更加全面和准确。
66、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
67、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
1.一种焊缝跟踪识别方法，其特征在于，包括：
2.根据权利要求1所述的焊缝跟踪识别方法，其特征在于，所述根据所述像素坐标、所述已焊接焊缝区域、所述法线和所述基准平面，提取所述第一焊缝中的所有已焊接点，得到目标焊缝，包括：
3.根据权利要求1所述的焊缝跟踪识别方法，其特征在于，所述将所述工件点云投影到二维图像，确定所述工件点云中每个点对应的像素坐标，包括：
4.根据权利要求1所述的焊缝跟踪识别方法，其特征在于，所述从所述所有平面中选择基准平面，基于所述基准平面进行焊缝提取，得到第一焊缝，包括：
5.根据权利要求1所述的焊缝跟踪识别方法，其特征在于，所述计算所述工件点云中的每个点的法线，包括：
6.根据权利要求1所述的焊缝跟踪识别方法，其特征在于，在所述根据所述场景图像确定已焊接焊缝区域之前，所述方法还包括：
7.根据权利要求6所述的焊缝跟踪识别方法，其特征在于，所述根据所述场景图像确定已焊接焊缝区域，包括：
8.根据权利要求7所述的焊缝跟踪识别方法，其特征在于，所述分割后图像的分割质量通过下述方式确定：
9.一种焊缝跟踪识别装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
