本技术属于人工智能(artificial intelligence,ai)领域,特别涉及一种三维人脸重建方法、装置、电子设备和存储介质。
背景技术:
1、在相关技术中,可以采用三维人脸形变模型对单张rgb(red green blue)图像进行处理,从而实现三维人脸模型的重建;通常三维人脸形变模型是一个线性的人脸统计模型,例如,在重建三维人脸模型的过程中,三维人脸模型顶点的坐标的位移值是基于一个相同的系数得出的。这样,导致三维人脸模型的重建结果难以准确地体现人脸的细节部分,降低了三维人脸模型的重建结果的准确性。
技术实现思路
1、本技术实施例提供三维人脸重建方法、装置、电子设备和存储介质。
2、本技术实施例提供一种三维人脸重建方法,所述方法包括:
3、获取二维人脸图像;
4、根据所述二维人脸图像,生成三维人脸模型的纹理贴图和三维人脸的初始模型;
5、根据所述三维人脸的初始模型中的顶点坐标和顶点法线,建立符号距离场(signed distance field,sdf);
6、根据所述符号距离场,对所述三维人脸的初始模型进行形变处理,得到所述三维人脸的修正后形状模型
7、根据所述三维人脸的修正后形状模型和所述三维人脸模型的纹理贴图,生成所述三维人脸模型。
8、在一些实施例中,在建立符号距离场之前,所述方法还包括:生成所述二维人脸图像的人脸形状特征;所述根据所述三维人脸的初始模型中的顶点坐标和顶点法线,建立符号距离场,包括:根据所述人脸形状特征、以及所述三维人脸的初始模型中的顶点坐标和法线,建立所述符号距离场。
9、可以看出,由于符号距离场是一种表示三维点到三维形状表面的距离的函数,因此,根据人脸形状特征、以及三维人脸的初始模型中的顶点坐标和顶点法线,可以较为准确地建立符号距离场,有利于根据符号距离场,较为准确地对三维人脸的初始模型进行形变处理,从而提升了重建的三维人脸模型的准确性和可靠性。
10、在一些实施例中,所述根据所述人脸形状特征、以及所述三维人脸的初始模型中的顶点坐标和顶点法线,建立所述符号距离场,包括:根据所述人脸形状特征、以及所述三维人脸的初始模型中的顶点坐标和顶点法线,确定所述三维人脸的初始模型中每个顶点相对于所述人脸形状特征对应的人脸三维表面的最短距离、以及所述每个顶点的位移方向;根据所述最短距离以及所述每个顶点的位移方向,建立符号距离场。
11、可以看出,根据人脸形状特征、以及三维人脸的初始模型中的顶点坐标和顶点法线,可以较为准确地确定每个顶点相对于所述人脸形状特征对应的人脸三维表面的最短距离以及每个顶点的位移方向,从而可以较为准确地建立符号距离场。
12、在一些实施例中,所述根据所述符号距离场,对所述三维人脸的初始模型进行形变处理,得到所述三维人脸的修正后形状模型,包括:根据所述符号距离场,确定所述三维人脸的初始模型中每个顶点相对于人脸三维表面的位移值;根据所述三维人脸的初始模型中每个顶点相对于人脸三维表面的位移值,对所述三维人脸的初始模型进行形变处理,得到所述三维人脸的修正后形状模型。
13、可以看出,本技术实施例可以根据三维人脸的初始模型中每个顶点相对于人脸三维表面的位移值,较为准确地对三维人脸的初始模型进行形变处理,从而可以较为准确地得出三维人脸的修正后形状模型,有利于提升重建的三维人脸模型的准确性和真实性。
14、在一些实施例中,所述根据所述二维人脸图像,生成三维人脸模型的纹理贴图,包括:生成所述二维人脸图像的纹理特征;利用生成式对抗网络对所述纹理特征进行纹理重建,得到所述三维人脸模型的纹理贴图。
15、可以看出,本技术实施例可以使用生成式对抗网络实现人脸模型的纹理重建,从而可以使重建的三维人脸模型更加真实和准确。
16、在一些实施例中,所述根据所述三维人脸的修正后形状模型和所述三维人脸模型的纹理贴图,生成所述三维人脸模型,包括:
17、获取三维人脸形状模型的样本真值;
18、根据所述三维人脸形状模型的样本真值,对所述三维人脸的修正后形状模型进行再次修正,得到所述三维人脸的再次修正后的形状模型;
19、将所述三维人脸的再次修正后的形状模型和所述三维人脸模型的纹理贴图进行合成,得到所述三维人脸模型。
20、可以看出,本技术实施例中,由于可以根据三维人脸形状模型的样本真值对三维人脸的修正后形状模型进行再次修正,因此,三维人脸的再次修正后的形状模型的真实性较高,从而,通过将三维人脸的再次修正后的形状模型和三维人脸模型的纹理贴图进行合成,可以提升重建的三维人脸模型的真实性和准确性。
21、在一些实施例中,所述根据所述二维人脸图像,生成三维人脸模型的纹理贴图和三维人脸的初始模型,包括:将二维人脸图像输入至神经网络的第一子网络中,得到所述三维人脸模型的纹理贴图和三维人脸的初始模型;所述根据所述三维人脸的初始模型中的顶点坐标和顶点法线,建立符号距离,包括:将所述三维人脸的初始模型中的顶点坐标和顶点法线输入至神经网络的符号距离场子网络中,得到所述符号距离场;所述根据所述符号距离场,对所述三维人脸的初始模型进行形变处理,得到所述三维人脸的修正后形状模型,包括:在所述神经网络的符号距离场子网络中,根据所述符号距离场,对所述三维人脸的初始模型进行形变处理,得到所述三维人脸的修正后形状模型;
22、根据所述三维人脸的修正后形状模型和所述三维人脸模型的纹理贴图,生成所述三维人脸模型,包括:在所述神经网络的第二子网络中,根据所述三维人脸的修正后形状模型和所述三维人脸模型的纹理贴图,生成所述三维人脸模型;其中,所述神经网络基于至少包括身份损失的神经网络损失训练得到,所述身份损失用于表示人脸身份特征的差异。
23、可以看出,在通过使用神经网络生成三维人脸模型的情况下,本技术实施例可以基于身份损失训练神经网络,从而可以使训练完成的神经网络能够更加精准地提取人脸图像中的身份特征,从而基于训练完成的神经网络得出的三维人脸模型能够更加精准地体现身份信息。
24、本技术实施例还提供了一种三维人脸重建装置,所述装置包括:
25、获取模块,用于获取二维人脸图像;
26、第一处理模块,用于根据所述二维人脸图像,生成三维人脸模型的纹理贴图和三维人脸的初始模型;根据所述三维人脸的初始模型中的顶点坐标和顶点法线,建立符号距离场;根据所述符号距离场,对所述三维人脸的初始模型进行形变处理,得到所述三维人脸的修正后形状模型;
27、第二处理模块,用于根据所述三维人脸的修正后形状模型和所述三维人脸模型的纹理贴图,生成所述三维人脸模型。
28、本技术实施例还提供了一种电子设备,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序以执行上述任意一种三维人脸重建方法。
29、本技术实施例还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任意一种三维人脸重建方法。
30、可以看出,由于符号距离场是一种针对三维人脸的初始模型的顶点,进行非线性位移的形变场,即,三维人脸的初始模型中,不同顶点的位移值并不是基于一个固定的系数得出的;真实场景的三维人脸模型与三维人脸的初始模型的形变通常是一种非线性变化的形变,即,非线性位移的形变场更加符合真实场景的三维模型,因此,与相关技术中仅仅基于线性的人脸形状基及纹理基实现三维人脸重建的方案相比,本技术实施例中根据符号距离场得出的三维人脸的修正后形状模型可以更加准确地体现人脸的细节部分,从而,根据三维人脸的修正后形状模型生成的三维人脸模型也可以更加准确地体现人脸的细节部分,能够体现不同人脸之间的个体差异性。
1.一种三维人脸重建方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在建立符号距离场之前,所述方法还包括:生成所述二维人脸图像的人脸形状特征;
3.根据权利要求2所述的方法,其特征在于,所述根据所述人脸形状特征、以及所述三维人脸的初始模型中的顶点坐标和顶点法线,建立所述符号距离场,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述符号距离场,对所述三维人脸的初始模型进行形变处理,得到所述三维人脸的修正后形状模型,包括:
5.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述二维人脸图像,生成三维人脸模型的纹理贴图,包括:
6.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述三维人脸的修正后形状模型和所述三维人脸模型的纹理贴图,生成所述三维人脸模型,包括:
7.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述二维人脸图像,生成三维人脸模型的纹理贴图和三维人脸的初始模型,包括:
8.一种三维人脸重建装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述的三维人脸重建方法。