本发明涉及计算机视觉,尤其涉及一种三维模型的重建方法、装置、设备和介质。
背景技术:
1、近年来机器人领域飞速发展,在机器人计算机视觉领域中物体的三维重建一直是最基本的问题,得到了广泛的关注。三维重建方法是针对基于图像的三维地图中的三维模型重建,基本目标是从一个或多个二维图像中推断出三维地图模型的三维几何结构。目前基于图像三维重建技术现主要有三种主流方法,一种是通过硬件设备实现对物体测距,计算距离差获得三维模型;另一种是基于物体图片通过推测相机参数和物体深度通过深度学习实现重建三维模型;最后一种是基于定序的探测图片,通过有序排列对重建位置进行尺度恢复。
2、然而,发明人发现现有技术至少存在如下问题:上述第一种方法需要额外的硬件设备支持,不易操作且成本较髙,第二种方法三维重建后的立体图像精度不高,受制于图像采集和生成质量,生成的清晰度和纹理的质量相对较差,第三种方法存在使用定序的探测图片,边界模糊,结构连接处纹理质量差,清晰度低等问题。
技术实现思路
1、本发明实施例的目的是提供一种三维模型的重建方法、装置、设备和介质,其能够解决重建三维模型过程中边界模糊、结构复杂的问题,使三维模型的重建效果达到最优。
2、为实现上述目的,本发明实施例提供了一种三维模型的重建方法,包括:
3、获取三维地图中目标图像的点云数据信息;
4、根据所述点云数据信息,对预设的网格卷积神经网络进行初始化,得到初步重建的三维模型;
5、根据所述点云数据信息,通过深度学习模型构建二维模型,并通过所述二维模型对所述初步重建的三维模型进行纹理细化操作;
6、将经过纹理细化操作之后的所述三维模型和所述二维模型进行混合迭代求解,得到目标三维模型。
7、作为上述方案的改进,所述获取三维地图中目标图像的点云数据信息,包括:
8、获取所述三维地图中的目标图像的空间信息和色彩信息,得到所述点云数据信息。
9、作为上述方案的改进,所述根据所述点云数据信息,对预设的网格卷积神经网络进行初始化,得到初步重建的三维模型,包括:
10、将所述点云数据信息中的空间信息作为所述网格卷积神经网络的输入;
11、基于边缘长度正则化项与倒角损失函数,通过线性累计可加的方法,对所述网格卷积神经网络进行改进,以获得三维模型的几何图形和纹理细节,重建所述三维模型的曲面网格,得到初步重建的三维模型。
12、作为上述方案的改进,所述基于边缘长度正则化项与倒角损失函数,通过线性累计可加的方法,对所述网格卷积神经网络进行改进,以获得三维模型的几何图形和纹理细节,重建所述三维模型的曲面网格,得到初步重建的三维模型,包括:
13、根据输入的目标图像的空间信息,生成所述网格卷积神经网络的三维网格,作为第一三维网格;
14、通过提取所述第一三维网络的体素特征,预测单个体素占用的概率网络,根据预设的体素占用概率和体素占用二值化阈值,将每个被占用的体素采用三角形网格替换,并合并相邻已占用体素之间的共享顶点和边,生成一个第二三维网格;
15、通过网格细分分支的方式处理所述第二三维网格,不断更新所述第二三维网格的顶点位置;
16、在更新顶点位置的过程中,基于边缘长度正则化项与倒角损失函数计算目标损失函数,当所述目标损失函数趋近收敛时完成顶点位置更新,得到初步重建的三维模型。
17、作为上述方案的改进,所述目标损失函数为:
18、l=alchamfer+bledge;
19、
20、
21、其中,a、b为可配置的超参数,lchamfer为倒角损失函数,ledge为边缘长度正则化项对应的损失函数,p是生成网络的顶点,为生成网络曲面采样的点,q是输入点云中的一个点,n(p)为生成网络中的与顶点相邻的环,k∈n(p)。
22、作为上述方案的改进,所述根据所述点云数据信息,通过深度学习模型构建二维模型,并通过所述二维模型对所述初步重建的三维模型进行纹理细化操作,包括:
23、基于深度学习模型使用改进后的全卷积网络语义分割模型构建二维模型;
24、将所述点云数据信息中的色彩信息作为所述二维模型的输入;
25、通过预测所述二维模型中的图像对应空间顶点位置,使用稀疏映射作为监督样本,训练独立的二维模型,进行x、y和z方向的坐标细化和r、g、b颜色值的生成;
26、使用预测的密集位置uv贴图更新所述初步重建的三维模型中的顶点位置,然后将其馈送到所述二维模型中进行纹理细化,完成迭代优化。
27、作为上述方案的改进,所述将经过纹理细化操作之后的所述三维模型和所述二维模型进行混合迭代求解,得到目标三维模型,包括:
28、根据经过纹理细化操作之后的所述三维模型和所述二维模型,以混合迭代方式生成高分辨率纹理贴图,改善所述三维模型的几何图像,得到目标三维模型。
29、本发明实施例还提供了一种三维模型的重建装置,包括:
30、点云数据获取模块,用于获取三维地图中目标图像的点云数据信息;
31、三维模型构建模块,用于根据所述点云数据信息,对预设的网格卷积神经网络进行初始化,得到初步重建的三维模型;
32、二维模型构建模块,用于根据所述点云数据信息,通过深度学习模型构建二维模型,并通过所述二维模型对所述初步重建的三维模型进行纹理细化操作;
33、混合迭代求解模块,用于将经过纹理细化操作之后的所述三维模型和所述二维模型进行混合迭代求解,得到目标三维模型。
34、本发明实施例还提供了一种三维模型的重建设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任意一项所述的三维模型的重建方法。
35、本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的三维模型的重建方法。
36、与现有技术相比,本发明公开的三维模型的重建方法、装置、设备和介质,获取三维地图中三维模型目标图像的点云数据信息并存储在数据库,抽取数据库中的点云数据,通过改进meshcnn框架,初始化3d网络,获得初步重建的三维模型,并通过深度学习模型建立2d网络,并基于初步生成的几何体网格,细化三维模型纹理,将二维-三维网络的混合迭代求解。本发明使用了2d-3d的深度融合模型,通过改进meshcnn网络模型,使模型能够快速收敛;通过2d网络细化三维模型,增强了平滑度,最终得到重建后的三维模型立体图像,使得模型更加适用于三维地图场景中二维图像上的目标的快速预测及目标重建,不依赖硬件水平,即可解决在图像水平一般,不依赖硬件水平下的三维立体高清晰度的重建,充分考虑了三维地图中三维模型边界模糊,楼体结构复杂的问题,最终呈现高纹理高清晰度的重建图像。
1.一种三维模型的重建方法,其特征在于,包括:
2.如权利要求1所述的三维模型的重建方法,其特征在于,所述获取三维地图中目标图像的点云数据信息,包括:
3.如权利要求2所述的三维模型的重建方法,其特征在于,所述根据所述点云数据信息,对预设的网格卷积神经网络进行初始化,得到初步重建的三维模型,包括:
4.如权利要求3所述的三维模型的重建方法,其特征在于,所述基于边缘长度正则化项与倒角损失函数,通过线性累计可加的方法,对所述网格卷积神经网络进行改进,以获得三维模型的几何图形和纹理细节,重建所述三维模型的曲面网格,得到初步重建的三维模型,包括:
5.如权利要求4所述的三维模型的重建方法,其特征在于,所述目标损失函数为:
6.如权利要求2所述的三维模型的重建方法,其特征在于,所述根据所述点云数据信息,通过深度学习模型构建二维模型,并通过所述二维模型对所述初步重建的三维模型进行纹理细化操作,包括:
7.如权利要求1至6任一项所述的三维模型的重建方法,其特征在于,所述将经过纹理细化操作之后的所述三维模型和所述二维模型进行混合迭代求解,得到目标三维模型,包括:
8.一种三维模型的重建装置,其特征在于,包括:
9.一种三维模型的重建设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的三维模型的重建方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的三维模型的重建方法。