本发明涉及车辆,尤其是涉及一种激光点云与全景图像配准方法、装置、终端设备及计算机程序产品。
背景技术:
1、目前,车载移动测量技术的应用日益广泛,通过车载移动测量技术能够高效、准确地获取细节丰富的道路信息,而车载移动测量系统通常配备有三维激光雷达和全景相机,在车辆长期作业过程中,由于车辆会存在一定程度的颠簸、振动,从而导致全景相机的参数发生变化,因此需要定期进行激光点云与全景图像的配准。
2、现有技术为了实现车载激光点云与全景图像的配准,所采用的方式主要包括基于几何特征配准方式、基于互信息最大化匹配方式和基于图像密集匹配点云与激光点云配准方式;其中,基于几何特征配准方式存在激光雷达的扫描角度与全景图像的拍摄角度差异较大,且激光点云易受到遮挡物干扰而使得所提取的特征一致性较差的问题,导致配准精度不稳定;基于互信息最大化匹配方式存在近处单位像素内点云密度不够,远处单位像素内点云堆积的问题,从而影响了配准的精度和稳定性;基于图像密集匹配点云与激光点云配准方式受限于图像密集点云的较低精度而无法实现高精度的配准。因此,现有技术对于车载激光点云与全景图像的配准精度较低。
技术实现思路
1、本发明提供一种激光点云与全景图像配准方法、装置、设备及程序产品,以任意方位的交通标牌作为特征标识,通过将从激光点云数据中检测的交通标牌与从全景图像中检测的交通标牌进行匹配,进而根据匹配到的同名点实现全景图像与激光点云数据的自动化配准,不受配准场景限制,同时不会受到遮挡物干扰影响,配准精度及稳定性高。
2、为了解决上述技术问题,本发明实施例第一方面提供一种激光点云与全景图像配准方法,包括:
3、获取当前配准场景的激光点云数据及全景图像;
4、根据当前配准场景中交通标牌的特征信息,对所述激光点云数据中的若干交通标牌进行检测,获取每个所述交通标牌在点云坐标系下的第一中心坐标;其中,所述特征信息至少包括高度信息、尺寸信息和形状;
5、根据所述特征信息,对所述全景图像中的若干交通标牌进行检测,获取每个所述交通标牌在球坐标系下的第二中心坐标;
6、根据所述第一中心坐标和所述第二中心坐标,对所述激光点云数据中的交通标牌与所述全景图像中的交通标牌进行匹配,获得若干同名点对;
7、基于所述同名点对求解全景相机的安置角误差参数,并利用所述安置角误差参数校正所述全景相机,以实现所述全景图像与所述激光点云数据的配准。
8、作为优选方案,所述根据当前配准场景中交通标牌的特征信息,对所述激光点云数据中的若干交通标牌进行检测,获取每个所述交通标牌在点云坐标系下的第一中心坐标,具体包括:
9、根据所述高度信息,从所述激光点云数据中提取包含交通标牌区域的目标点云数据;
10、按照预设的分割间距将所述目标点云数据沿道路前进方向进行分割,获得若干切片点云;其中,所述道路前进方向垂直于所述交通标牌所处平面;
11、根据预设的所述切片点云与二维图像的映射关系,将若干所述切片点云投影至所述二维图像,获得若干切片图像;
12、对每个所述切片图像中符合所述形状和所述尺寸信息的图形进行检测,确定每个所述切片图像中的交通标牌及其在像素坐标系下的第三中心坐标;
13、根据所述映射关系对所述第三中心坐标进行坐标转换,获取每个所述交通标牌的所述第一中心坐标。
14、作为优选方案,所述对每个所述切片图像中符合所述形状和所述尺寸信息的图形进行检测,确定每个所述切片图像中的交通标牌及其在像素坐标系下的第三中心坐标,具体包括:
15、对每个所述切片图像进行边缘检测,获得若干线段边缘和/或圆形边缘;
16、根据若干所述线段边缘和/或所述圆形边缘,采用霍夫变换算法检测每个所述切片图像中的若干线段和/或圆形,并确定每条所述线段的端点坐标以及每个所述圆形的圆心坐标与半径;
17、根据每条所述线段的端点坐标以及每个所述圆形的半径,利用所述尺寸信息对若干所述线段和/或所述圆形进行筛选,获得若干目标线段和/或目标圆形;
18、当所述形状包括圆形时,判定所述目标圆形为所述切片图像中的交通标牌,并将所述目标圆形的圆心坐标作为所述切片图像中的交通标牌的所述第三中心坐标,或者采用迭代最小二乘法重新拟合确定所述目标圆形的圆心坐标并作为所述切片图像中的交通标牌的所述第三中心坐标;
19、当所述形状包括多边形时,根据若干所述线段的相交情况识别所述切片图像中符合所述形状的交通标牌,并根据每条所述线段的端点坐标计算所述切片图像中的交通标牌的所述第三中心坐标。
20、作为优选方案,所述方法具体通过如下步骤确定所述切片点云与二维图像的映射关系:
21、基于所述切片点云的最小包围盒,确定所述切片点云中点云数据的起始点云坐标;
22、根据所述切片点云中任意一个点云数据的点云坐标以及所述起始点云坐标,确定所述切片点云中任意一个点云数据的点云坐标向量;
23、根据预设的比例尺因子、从点云坐标系至像素坐标系的变换矩阵以及所述切片点云中任意一个点云数据的点云坐标向量,确定所述切片点云与二维图像的映射关系。
24、作为优选方案,所述根据所述特征信息,对所述全景图像中的若干交通标牌进行检测,获取每个所述交通标牌在球坐标系下的第二中心坐标,具体包括:
25、根据预设的所述全景图像与柱面图像的转换关系,将所述全景图像转换为所述柱面图像;
26、对所述柱面图像进行图像分割,获得所述柱面图像中的若干地物;
27、根据每个所述地物的最小包围盒和像素个数,按照预设的筛选条件对若干所述地物进行筛选,获得若干目标地物;
28、对若干所述目标地物的边界进行拟合,确定所述柱面图像中符合所述形状的若干交通标牌及其在像素坐标系下的第四中心坐标;
29、根据所述转换关系对所述第四中心坐标进行坐标转换,获取每个所述交通标牌的所述第二中心坐标。
30、作为优选方案,所述筛选条件具体为:
31、所述最小包围盒的长与宽的比值处于预设比值范围内,且所述像素个数处于预设像素个数范围内。
32、作为优选方案,所述方法具体通过如下步骤确定所述全景图像与柱面图像的转换关系:
33、根据所述全景图像的宽度和高度,确定从所述全景图像至所述柱面图像的转换矩阵;
34、根据所述转换矩阵以及所述全景图像上任意一点在全景球面上的横向角度、纵向角度,确定所述全景图像与所述柱面图像的转换关系。
35、作为优选方案,所述根据所述第一中心坐标和所述第二中心坐标,对所述激光点云数据中的交通标牌与所述全景图像中的交通标牌进行匹配,获得若干同名点对,具体包括:
36、根据所述激光点云数据中每个所述交通标牌的所述第一中心坐标,构建kdtree索引;
37、根据所述全景图像中每个所述交通标牌的所述第二中心坐标,当检测到任意一个第二中心坐标与所述kdtree索引中的任意一个第一中心坐标之间的距离小于预设距离阈值时,判定所述任意一个第二中心坐标所对应的交通标牌与所述任意一个第一中心坐标所对应的交通标牌相匹配,且所述任意一个第二中心坐标与所述任意一个第一中心坐标为同名点对。
38、作为优选方案,所述基于所述同名点求解全景相机的安置角误差参数,具体包括:
39、根据预设的所述同名点对中第一中心坐标从所述激光点云数据投影至所述全景图像的映射关系以及所述同名点对的共线关系,构建所述安置角误差参数所对应的误差方程式;
40、求解所述误差方程式,获得所述安置角误差参数。
41、作为优选方案,所述根据预设的所述同名点对中第一中心坐标从所述激光点云数据投影至所述全景图像的映射关系以及所述同名点对的共线关系,构建所述安置角误差参数所对应的误差方程式,具体包括:
42、根据所述同名点对中第一中心坐标的点云坐标以及所述同名点对中第二中心坐标所对应的三维直角坐标,确定坐标偏移向量;
43、根据预设的所述全景图像的姿态矩阵、所述坐标偏移向量、待求解的所述安置角误差参数,确定所述同名点对中第一中心坐标从所述激光点云数据投影至所述全景图像的映射关系式;
44、根据所述映射关系式和所述同名点对的共线关系,构建待求解的所述安置角误差参数所对应的误差方程式。
45、本发明实施例第二方面提供一种激光点云与全景图像配准装置,包括:
46、数据获取模块,用于获取当前配准场景的激光点云数据及全景图像;
47、第一交通标牌检测模块,用于根据当前配准场景中交通标牌的特征信息,对所述激光点云数据中的若干交通标牌进行检测,获取每个所述交通标牌在点云坐标系下的第一中心坐标;其中,所述特征信息至少包括高度信息、尺寸信息和形状;
48、第二交通标牌检测模块,用于根据所述特征信息,对所述全景图像中的若干交通标牌进行检测,获取每个所述交通标牌在球坐标系下的第二中心坐标;
49、交通标牌匹配模块,用于根据所述第一中心坐标和所述第二中心坐标,对所述激光点云数据中的交通标牌与所述全景图像中的交通标牌进行匹配,获得若干同名点对;
50、配准模块,用于基于所述同名点对求解全景相机的安置角误差参数,并利用所述安置角误差参数校正所述全景相机,以实现所述全景图像与所述激光点云数据的配准。
51、本发明实施例第三方面提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述的激光点云与全景图像配准方法。
52、本发明实施例第四方面提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如第一方面任一项所述的激光点云与全景图像配准方法的步骤。
53、相比于现有技术,本发明实施例的有益效果在于,以任意方位的交通标牌作为特征标识,通过将从激光点云数据中检测的交通标牌与从全景图像中检测的交通标牌进行匹配,进而根据匹配到的同名点实现全景图像与激光点云数据的自动化配准,不受配准场景限制,同时不会受到遮挡物干扰影响,配准精度及稳定性高。
1.一种激光点云与全景图像配准方法,其特征在于,包括:
2.如权利要求1所述的激光点云与全景图像配准方法,其特征在于,所述根据当前配准场景中交通标牌的特征信息,对所述激光点云数据中的若干交通标牌进行检测,获取每个所述交通标牌在点云坐标系下的第一中心坐标,具体包括:
3.如权利要求2所述的激光点云与全景图像配准方法,其特征在于,所述对每个所述切片图像中符合所述形状和所述尺寸信息的图形进行检测,确定每个所述切片图像中的交通标牌及其在像素坐标系下的第三中心坐标,具体包括:
4.如权利要求2所述的激光点云与全景图像配准方法,其特征在于,所述方法具体通过如下步骤确定所述切片点云与二维图像的映射关系:
5.如权利要求1所述的激光点云与全景图像配准方法,其特征在于,所述根据所述特征信息,对所述全景图像中的若干交通标牌进行检测,获取每个所述交通标牌在球坐标系下的第二中心坐标,具体包括:
6.如权利要求5所述的激光点云与全景图像配准方法,其特征在于,所述筛选条件具体为:
7.如权利要求5所述的激光点云与全景图像配准方法,其特征在于,所述方法具体通过如下步骤确定所述全景图像与柱面图像的转换关系:
8.如权利要求1所述的激光点云与全景图像配准方法,其特征在于,所述根据所述第一中心坐标和所述第二中心坐标,对所述激光点云数据中的交通标牌与所述全景图像中的交通标牌进行匹配,获得若干同名点对,具体包括:
9.如权利要求1所述的激光点云与全景图像配准方法,其特征在于,所述基于所述同名点求解全景相机的安置角误差参数,具体包括:
10.如权利要求9所述的激光点云与全景图像配准方法,其特征在于,所述根据预设的所述同名点对中第一中心坐标从所述激光点云数据投影至所述全景图像的映射关系以及所述同名点对的共线关系,构建所述安置角误差参数所对应的误差方程式,具体包括:
11.一种激光点云与全景图像配准装置,其特征在于,包括:
12.一种终端设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的激光点云与全景图像配准方法。
13.一种计算机程序产品,其特征在于,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如权利要求1至10任一项所述的激光点云与全景图像配准方法的步骤。