本申请涉及图像处理,特别是涉及贴图置换方法、装置、电子装置和存储介质。
背景技术:
1、三维扫描仪在实时扫描过程中,以自带的相机获取物体图像作为二维纹理图像,通过纹理贴图算法实现物体网格模型的纹理映射,以重建出具有真实感纹理的三维数字模型。由于在相机获取物体图像的过程中,不同拍摄视角因补光不同会造成的纹理图像存在反光区域和色彩差异,导致贴图呈现的三维数字模型效果差。
2、对此,目前的做法是输入三维扫描仪当前贴图的图像数据、图像数据对应模型的rt矩阵以及图像数据的内参参数,以实现对当前模型的贴图置换。但是这种方案的置换效果取决于当前贴图图像数据的质量,而当前贴图图像通常是较为局部的图像,进而导致对于三维扫描模型的贴图置换存在质量较差的问题。
3、目前针对相关技术中贴图置换的质量差的问题,尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种贴图置换方法、装置、电子装置和存储介质,以至少解决相关技术中贴图置换的质量差的问题。
2、第一方面,本申请实施例提供了一种贴图置换方法,所述方法包括:
3、获取目标物体的待处理模型;对所述待处理模型进行模型渲染,并得到第一渲染图像集;
4、确定所述第一渲染图像集中的像素点深度信息;
5、获取拍摄所述目标物体得到的目标图像;将所述目标图像与所述第一渲染图像集中的图像进行特征点匹配,得到特征匹配对,并基于所述特征匹配对和所述像素点深度信息,确定所述目标图像中的特征点深度信息;
6、基于所述特征点深度信息,将所述目标图像贴图置换至所述待处理模型。
7、在其中一些实施例中,所述对所述待处理模型进行模型渲染,并得到第一渲染图像集,包括:
8、对所述待处理模型进行多个角度的模型渲染,得到多角度渲染模型;
9、根据所述多角度渲染模型,得到在每个角度下的至少一张渲染图像,并基于所有所述渲染图像得到所述第一渲染图像集。
10、在其中一些实施例中,所述多角度渲染模型包括三维位置信息;所述确定所述第一渲染图像集中的像素点深度信息,包括:
11、获取所述第一渲染图像集中的渲染图像的二维像素点;
12、基于所述三维位置信息,确定所述第一渲染图像集中,与各所述二维像素点对应的所述像素点深度信息。
13、在其中一些实施例中,所述基于所述特征匹配对和所述像素点深度信息,确定所述目标图像中的特征点深度信息,包括:
14、获取所述特征匹配对中的第一特征点,得到所述第一特征点所在的二维位置信息;所述第一特征点是属于所述目标图像的特征点;
15、基于所述像素点深度信息,确定所述目标图像中,与各所述二维位置信息对应的所述特征点深度信息。
16、在其中一些实施例中,所述将所述目标图像与所述第一渲染图像集中的图像进行特征点匹配,得到特征匹配对,包括:
17、对所述目标图像进行图像特征提取,得到第一特征点,并对所述第一渲染图像集中的每张渲染图像进行图像特征提取,得到第二特征点;
18、基于所述第一特征点和所述第二特征点进行匹配,确定与所述目标图像相匹配的渲染图像,并得到所述特征匹配对。
19、在其中一些实施例中,所述基于所述特征点深度信息,将所述目标图像贴图置换至所述待处理模型之后,所述方法还包括:
20、获取补充图像;
21、检测针对所述待处理模型的调整指令;
22、响应于检测到的所述调整指令,确定所述待处理模型所需移动至所述补充图像对应位姿下的目标位姿;
23、在所述待处理模型处于所述目标位姿的情况下,获取模型渲染后得到的第二渲染图像集,并基于所述补充图像和所述第二渲染图像集,对所述待处理模型进行补充贴图置换。
24、在其中一些实施例中,所述基于所述特征点深度信息,将所述目标图像贴图置换至所述待处理模型,包括:
25、基于所述特征点深度信息,计算得到图像参数和位姿转换关系;其中,所述位姿转换关系为所述目标图像所在坐标系与所述待处理模型所在坐标系之间的转换关系;
26、根据所述图像参数和所述位姿转换关系,将所述目标图像贴图置换至所述待处理模型。
27、第二方面,本申请实施例提供了一种贴图置换装置,所述装置包括:渲染模块、深度信息确定模块、匹配模块和置换模块;
28、所述渲染模块,用于获取目标物体的待处理模型;对所述待处理模型进行模型渲染,并得到第一渲染图像集;
29、所述深度信息确定模块,用于确定所述第一渲染图像集中的像素点深度信息;
30、所述匹配模块,用于获取拍摄所述目标物体得到的目标图像;将所述目标图像与所述第一渲染图像集中的图像进行特征点匹配,得到特征匹配对,并基于所述特征匹配对和所述像素点深度信息,确定所述目标图像中的特征点深度信息;
31、所述置换模块,用于基于所述特征点深度信息,将所述目标图像贴图置换至所述待处理模型。
32、第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的贴图置换方法。
33、第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的贴图置换方法。
34、相比于相关技术,本申请实施例提供的贴图置换方法、装置、电子装置和存储介质,通过获取目标物体的待处理模型;对该待处理模型进行模型渲染,并得到第一渲染图像集;确定该第一渲染图像集中的像素点深度信息;获取拍摄该目标物体得到的目标图像;将该目标图像与该第一渲染图像集中的图像进行特征点匹配,得到特征匹配对,并基于该特征匹配对和该像素点深度信息,确定该目标图像中的特征点深度信息,解决了贴图置换的质量低的问题,实现了高质量、高效的贴图置换方法。
35、本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
1.一种贴图置换方法,其特征在于,所述方法包括:
2.根据权利要求1所述的贴图置换方法,其特征在于,所述对所述待处理模型进行模型渲染,并得到第一渲染图像集,包括:
3.根据权利要求2所述的贴图置换方法,其特征在于,所述多角度渲染模型包括三维位置信息;所述确定所述第一渲染图像集中的像素点深度信息,包括:
4.根据权利要求1所述的贴图置换方法,其特征在于,所述基于所述特征匹配对和所述像素点深度信息,确定所述目标图像中的特征点深度信息,包括:
5.根据权利要求1所述的贴图置换方法,其特征在于,所述将所述目标图像与所述第一渲染图像集中的图像进行特征点匹配,得到特征匹配对,包括:
6.根据权利要求1所述的贴图置换方法,其特征在于,所述基于所述特征点深度信息,将所述目标图像贴图置换至所述待处理模型之后,所述方法还包括:
7.根据权利要求1至6任一项所述的贴图置换方法,其特征在于,所述基于所述特征点深度信息,将所述目标图像贴图置换至所述待处理模型,包括:
8.一种贴图置换装置,其特征在于,所述装置包括:渲染模块、深度信息确定模块、匹配模块和置换模块;
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的贴图置换方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的贴图置换方法。
