本公开实施例涉及计算机技术,尤其涉及一种三维场景重建方法、装置、设备、介质及程序产品。
背景技术:
1、随着计算机技术的快速发展,通常需要利用采集的三维场景数据进行场景重建,获得三维场景模型。现有的三维重建方式所重建出的三维场景模型通常为三维网格模型。然而,这种三维网格模型质量较为粗糙,需要专业人员进一步对三维网络模型进行修复,以满足三维重建要求。
技术实现思路
1、本公开提供一种三维场景重建方法、装置、设备、介质及程序产品,以实现三维场景更高质量的自动化重建,降低了重建成本,提高了场景模型的精细度和渲染质量。
2、第一方面,本公开实施例提供了一种三维场景重建方法,包括:
3、获取对待重建的三维场景采集的三维场景数据,所述三维场景数据包括所述三维场景的场景图像;
4、根据所述场景图像确定所述三维场景对应的稀疏点云数据和所述场景图像对应的相机参数信息;
5、根据所述稀疏点云数据进行模型初始化,获得所述三维场景对应的当前三维数据模型;
6、根据所述相机参数信息和当前三维数据模型进行渲染,获得所述场景图像视角下的当前颜色图、当前深度图和当前法线图,并根据当前深度图确定所述场景图像视角下的伪法线图;
7、根据当前颜色图、当前法线图、伪法线图和所述场景图像的实际颜色图,对当前三维数据模型进行训练,获得训练结束后的目标三维数据模型。
8、第二方面,本公开实施例还提供了一种三维场景重建装置,包括:
9、三维场景数据获取模块,用于获取对待重建的三维场景采集的三维场景数据,所述三维场景数据包括所述三维场景的场景图像;
10、稀疏点云数据确定模块,用于根据所述场景图像确定所述三维场景对应的稀疏点云数据和所述场景图像对应的相机参数信息;
11、模型初始化模块,用于根据所述稀疏点云数据进行模型初始化,获得所述三维场景对应的当前三维数据模型;
12、模型渲染模块,用于根据所述相机参数信息和当前三维数据模型进行渲染,获得所述场景图像视角下的当前颜色图、当前深度图和当前法线图,并根据当前深度图确定所述场景图像视角下的伪法线图;
13、模型训练模块,用于根据当前颜色图、当前法线图、伪法线图和所述场景图像的实际颜色图,对当前三维数据模型进行训练,获得训练结束后的目标三维数据模型。
14、第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
15、一个或多个处理器;
16、存储装置,用于存储一个或多个程序,
17、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的三维场景重建方法。
18、第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的三维场景重建方法。
19、第五方面,本公开实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本公开实施例任一所述的三维场景重建方法。
20、本公开实施例,通过根据对待重建的三维场景采集的场景图像确定三维场景对应的稀疏点云数据和场景图像对应的相机参数信息;根据稀疏点云数据进行模型初始化,获得初始化后的当前三维数据模型;根据相机参数信息和当前三维数据模型进行渲染,获得场景图像视角下的当前颜色图、当前深度图和当前法线图,并根据当前深度图确定场景图像视角下的伪法线图;根据当前颜色图、当前法线图、伪法线图和场景图像的实际颜色图,对当前三维数据模型进行自监督训练,从而可以全自动化地获得更高质量的目标三维数据模型,降低了重建成本。而且目标三维数据模型比传统的三维网格模型具有更强的场景表达能力,从而提高了场景模型的精细度和渲染质量。
1.一种三维场景重建方法,其特征在于,包括:
2.根据权利要求1所述的三维场景重建方法,其特征在于,所述根据所述场景图像确定所述三维场景对应的稀疏点云数据和所述场景图像对应的相机参数信息,包括:
3.根据权利要求2所述的三维场景重建方法,其特征在于,所述三维场景数据还包括:非图像格式的场景采集数据;
4.根据权利要求1所述的三维场景重建方法,其特征在于,所述当前三维数据模型包括神经辐射场或者三维高斯体;
5.根据权利要求1所述的三维场景重建方法,其特征在于,所述根据所述相机参数信息和当前三维数据模型进行渲染,获得所述场景图像视角下的当前颜色图、当前深度图和当前法线图,包括:
6.根据权利要求1所述的三维场景重建方法,其特征在于,所述根据当前深度图确定所述场景图像视角下的伪法线图,包括:
7.根据权利要求1所述的三维场景重建方法,其特征在于,所述根据当前颜色图、当前法线图、伪法线图和所述场景图像的实际颜色图,对当前三维数据模型进行训练,获得训练结束后的目标三维数据模型,包括:
8.根据权利要求7所述的三维场景重建方法,其特征在于,所述基于当前颜色损失值和当前法线损失值确定当前模型损失值,包括:
9.根据权利要求1-8任一项所述的三维场景重建方法,其特征在于,所述方法还包括:
10.根据权利要求9所述的三维场景重建方法,其特征在于,所述根据所述目标三维数据模型、虚拟光源的当前位置信息和光源类型信息以及虚拟相机的当前参数信息进行打光和阴影添加处理,获得具有打光和阴影效果的虚拟场景图像,包括:
11.一种三维场景重建装置,其特征在于,包括:
12.一种电子设备,其特征在于,所述电子设备包括:
13.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的三维场景重建方法。
14.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-10中任一所述的三维场景重建方法。