本技术涉及三维模型,特别涉及一种点云着色的方法及装置。
背景技术:
1、点云是一种常见且高效的三维3d(3-d imens i ona l)模型表示方式,包含每个点的3d坐标(xyz坐标值),或者额外包含颜色以及法向量等信息。在仅仅具备3d坐标的情况下,能够辨识出三维模型的几何结构,但无法更加准确直观地表示出三维模型的外观信息。点云着色技术可以赋予点云中每个三维点颜色信息,从而获得外观更加真实的三维模型。
2、现有技术中,仅基于激光雷达的3d点云重建算法无法得到带有颜色的点云,基于图像的3d点云重建方案可以实现点云着色,但大多对相机的拍摄位置以及角度要求较高,适用性低。而将重建后的点云投影到图像坐标来实现点云着色的方法,准确度低。因此,如何进行高适用性且准确的点云着色,成为了一个亟需解决的问题。
技术实现思路
1、基于上述问题,本技术提供了一种点云着色的方法及装置,以进行高适用性且准确的点云着色。
2、本技术公开了一种点云着色的方法,所述方法包括:
3、根据相机的内参和外参,将目标场景的点云数据转换为点云深度图;所述外参包括所述相机在世界坐标系下的旋转矩阵和平移向量,所述内参包括所述相机在相机坐标系下原点坐标和焦距;
4、根据所述外参将所述点云深度图中的每个3d点变换到相机坐标系,并根据所述内参将变换后的3d点投影到图像平面得到投影点;
5、获取所述投影点坐标处的深度值,并将3d点的z轴坐标与所述深度值进行比较;
6、比较结果小于阈值时,视为通过可见性检测,保存3d点的颜色;
7、所述比较结果大于或等于所述阈值时,视为未通过所述可见性检测,重新对3d点进行坐标系变换,直至通过所述可见性检测。
8、可选的,所述根据相机的内参和外参,将目标场景的点云数据转换为点云深度图,包括:
9、根据所述内参对所述点云数据中的3d点进行透视投影和深度值计算;
10、将每个3d点的投影结果和深度值结合,得到所述点云深度图。
11、可选的,所述点云深度图中存在第一3d点,所述根据所述外参将所述点云深度图中的每个3d点变换到相机坐标系,包括:
12、在所述第一3d点预设距离范围内,获取第一夹角小于预设角度,且距离所述第一3d点最近的相机作为第一相机;所述第一夹角为所述第一相机的坐标和所述第一3d点之间的射线,与所述第一3d点的法向量之间的夹角;
13、基于所述第一相机的外参将所述第一3d点变换到所述第一相机的相机坐标系。
14、可选的,所述获取第一夹角小于预设角度,且距离所述第一3d点最近的相机作为第一相机,包括:
15、在所述第一3d点预设距离范围内,获取距离所述第一3d点的距离最近的第二相机,并获取第三相机;所述第三相机为除所述第二相机外,距离所述第一3d点的距离最近的相机;
16、获取所述第二相机的坐标和所述第一3d点之间的射线,与所述第一3d点的法向量之间的夹角;
17、当所述夹角小于预设角度时,将所述夹角作为所述第一夹角;
18、当所述夹角大于或等于所述预设角度时,获取与所述第三相机对应的夹角,直至与所述第三相机对应的夹角小于所述预设角度;
19、将所述第一夹角对应的相机作为所述第一相机。
20、可选的,所述根据所述内参将变换后的3d点投影到图像平面得到投影点,包括:
21、根据所述第一相机的内参,将变换后的3d点投影到所述第一相机拍摄的图像平面,得到所述投影点。
22、基于上述一种点云着色的方法,本技术还公开了一种点云着色的装置,包括:转换单元、投影单元、比较单元、输出单元和优化单元;
23、所述转换单元,用于根据相机的内参和外参,将目标场景的点云数据转换为点云深度图;所述外参包括所述相机在世界坐标系下的旋转矩阵和平移向量,所述内参包括所述相机在相机坐标系下原点坐标和焦距;
24、所述投影单元,用于根据所述外参将所述点云深度图中的每个3d点变换到相机坐标系,并根据所述内参将变换后的3d点投影到图像平面得到投影点;
25、所述比较单元,用于获取所述投影点坐标处的深度值,并将3d点的z轴坐标与所述深度值进行比较;
26、所述输出单元,用于比较结果小于阈值时,视为通过可见性检测,保存3d点的颜色;
27、所述优化单元,用于所述比较结果大于或等于所述阈值时,视为未通过所述可见性检测,重新对3d点进行坐标系变换,直至通过所述可见性检测。
28、可选的,所述转换单元,包括:
29、计算子单元,用于根据所述内参对所述点云数据中的3d点进行透视投影和深度值计算;
30、结合子单元,用于将每个3d点的投影结果和深度值结合,得到所述点云深度图。
31、可选的,所述点云深度图中存在第一3d点,所述投影单元,包括:
32、第一相机获取子单元,用于在所述第一3d点预设距离范围内,获取第一夹角小于预设角度,且距离所述第一3d点最近的相机作为第一相机;所述第一夹角为所述第一相机的坐标和所述第一3d点之间的射线,与所述第一3d点的法向量之间的夹角;
33、变换子单元,用于基于所述第一相机的外参将所述第一3d点变换到所述第一相机的相机坐标系。
34、可选的,所述第一相机获取子单元,包括:
35、相机选择子单元,用于在所述第一3d点预设距离范围内,获取距离所述第一3d点的距离最近的第二相机,并获取第三相机;所述第三相机为除所述第二相机外,距离所述第一3d点的距离最近的相机;
36、夹角获取子单元,用于获取所述第二相机的坐标和所述第一3d点之间的射线,与所述第一3d点的法向量之间的夹角;
37、比较子单元,用于当所述夹角小于预设角度时,将所述夹角作为所述第一夹角;
38、优化子单元,用于当所述夹角大于或等于所述预设角度时,获取与所述第三相机对应的夹角,直至与所述第三相机对应的夹角小于所述预设角度;
39、相机确定子单元,用于将所述第一夹角对应的相机作为所述第一相机。
40、可选的,所述投影单元,包括:
41、投影子单元,用于根据所述第一相机的内参,将变换后的3d点投影到所述第一相机拍摄的图像平面,得到所述投影点。
42、本技术公开了一种点云着色的方法及装置。根据相机的内参和外参,将目标场景的点云数据转换为点云深度图。根据外参将点云深度图中的每个3d点变换到相机坐标系,并根据内参将变换后的3d点投影到图像平面得到投影点。获取投影点坐标处渲染出的深度值,并将3d点的z轴坐标与深度值进行比较,以进行可见性检测。其能简单、有效地判断出点云在相机中的可见性,并在后续根据可见性对点云进行更加真实、准确地着色。比较结果小于阈值时,视为通过可见性检测,保存3d点的颜色。比较结果大于或等于阈值时,说明在当前视角下,该3d点处于被遮挡的状态,从而不使用当前视角的图像给该3d点着色。则需要重复坐标系变换,直至比较结果在预设范围内。本技术有效避免被遮挡的点被错误着色,能够应对更加复杂的场景,适用性高。
1.一种点云着色的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据相机的内参和外参,将目标场景的点云数据转换为点云深度图,包括:
3.根据权利要求1所述的方法,其特征在于,所述点云深度图中存在第一3d点,所述根据所述外参将所述点云深度图中的每个3d点变换到相机坐标系,包括:
4.根据权利要求3所述的方法,其特征在于,所述获取第一夹角小于预设角度,且距离所述第一3d点最近的相机作为第一相机,包括:
5.根据权利要求2所述的方法,其特征在于,所述根据所述内参将变换后的3d点投影到图像平面得到投影点,包括:
6.一种点云着色的装置,其特征在于,包括:转换单元、投影单元、比较单元、输出单元和优化单元;
7.根据权利要求6所述的装置,其特征在于,所述转换单元,包括:
8.根据权利要求6所述的装置,其特征在于,所述点云深度图中存在第一3d点,所述投影单元,包括:
9.根据权利要求8所述的装置,其特征在于,所述第一相机获取子单元,包括:
10.根据权利要求7所述的装置,其特征在于,所述投影单元,包括:
