目标对象的三维重建方法、电子设备及存储介质与流程

    技术2025-05-24  20


    本申请涉及数据处理领域,具体而言,涉及一种目标对象的三维重建方法、电子设备及存储介质。


    背景技术:

    1、三维重建技术对于扩展现实(extended reality,xr)行业有着深远的意义,能够实现真实体验的数字化和数字体验的真实化,从而为构建虚拟的、可交互的数字空间提供基础。三维重建技术可以帮助xr设备更好地感知和理解真实世界,提高交互效率和沉浸感,也可以更加高效、便捷地进行xr内容的制作和分发,丰富xr应用场景和体验。物体的三维重建是xr内容制作的重要部分,由于移动终端摄像功能的普及,可以使用移动终端拍摄的物体多视角图像进行物体的三维重建,但是,相关技术中的三维重建方式仍然依赖于不同形式的人工劳动,由此导致三维重建过程中的重建效率低下。

    2、针对上述的问题,目前尚未提出有效的解决方案。


    技术实现思路

    1、本申请实施例提供了一种目标对象的三维重建方法、电子设备及存储介质,以至少解决相关技术中的三维重建方式由于依赖不同形式的人工劳动而导致重建效率低下的技术问题。

    2、根据本申请实施例的一个方面,提供了一种目标对象的三维重建方法,包括:获取目标多视角图像,其中,目标多视角图像通过对初始多视角图像进行预处理得到,初始多视角图像利用图像采集设备从多个视角对目标对象进行拍摄后得到;依据目标多视角图像确定图像采集设备的位置信息与图像采集设备的参数信息;基于目标多视角图像、图像采集设备的位置信息以及图像采集设备的参数信息,获取目标掩码,其中,目标掩码用于确定目标对象在目标多视角图像中的分割范围;采用图像采集设备的位置信息、图像采集设备的参数信息以及目标掩码对目标对象进行三维重建,得到目标对象的目标三维网格模型。

    3、根据本申请实施例的另一方面,还提供了一种虚拟物品的三维重建方法,包括:获取目标多视角图像,其中,目标多视角图像通过对初始多视角图像进行预处理得到,初始多视角图像利用拓展现实图像采集设备从多个视角对拓展现实应用场景下虚拟物品进行拍摄后得到;依据目标多视角图像确定拓展现实图像采集设备的位置信息与拓展现实图像采集设备的参数信息;基于目标多视角图像、拓展现实图像采集设备的位置信息以及拓展现实图像采集设备的参数信息,获取目标掩码,其中,目标掩码用于确定虚拟物品在目标多视角图像中的分割范围;采用拓展现实图像采集设备的位置信息、拓展现实图像采集设备的参数信息以及目标掩码对虚拟物品进行三维重建,得到虚拟物品的目标三维网格模型。

    4、根据本申请实施例的另一方面,还提供了一种目标对象的三维重建方法,包括:通过第一应用程序编程接口获取对象重建请求;通过第二应用程序编程接口返回对象重建响应;其中,对象重建请求中携带的请求数据包括:目标多视角图像,对象重建响应中携带的响应数据包括:目标对象的目标三维网格模型,目标多视角图像通过对初始多视角图像进行预处理得到,初始多视角图像利用图像采集设备从多个视角对目标对象进行拍摄后得到,目标三维网格模型采用图像采集设备的位置信息、图像采集设备的参数信息以及目标掩码对目标对象进行三维重建后得到,目标掩码基于目标多视角图像、图像采集设备的位置信息以及图像采集设备的参数信息得到,目标掩码用于确定目标对象在目标多视角图像中的分割范围,图像采集设备的位置信息与图像采集设备的参数信息依据目标多视角图像确定。

    5、根据本申请实施例的另一方面,还提供了一种目标对象的三维重建方法,包括:获取当前输入的对象重建对话请求;响应于对象重建对话请求,返回对象重建对话回复;其中,对象重建对话请求中携带的请求数据包括:目标多视角图像,对象重建对话回复中携带的信息包括:目标对象的目标三维网格模型,目标多视角图像通过对初始多视角图像进行预处理得到,初始多视角图像利用图像采集设备从多个视角对目标对象进行拍摄后得到,目标三维网格模型采用图像采集设备的位置信息、图像采集设备的参数信息以及目标掩码对目标对象进行三维重建后得到,目标掩码基于目标多视角图像、图像采集设备的位置信息以及图像采集设备的参数信息得到,目标掩码用于确定目标对象在目标多视角图像中的分割范围,图像采集设备的位置信息与图像采集设备的参数信息依据目标多视角图像确定;在图形用户界面内展示目标三维网格模型。

    6、根据本申请实施例的另一方面,还提供了电子设备,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行本申请实施例中任意一项的方法。

    7、根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行本申请实施例中任意一项的方法。

    8、根据本申请实施例的另一方面,还提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请实施例中任意一项的方法。

    9、在本申请实施例中,通过获取目标多视角图像,进而依据目标多视角图像确定图像采集设备的位置信息与图像采集设备的参数信息,随后基于目标多视角图像、图像采集设备的位置信息以及图像采集设备的参数信息,获取目标掩码,以确定目标对象在目标多视角图像中的分割范围,最后采用图像采集设备的位置信息、图像采集设备的参数信息以及目标掩码对目标对象进行三维重建,得到目标对象的目标三维网格模型,达到了自动化三维重建场景中的目标对象的目的,从而实现了提升目标对象的三维重建效率的技术效果,进而解决了相关技术中的三维重建方式由于依赖不同形式的人工劳动而导致重建效率低下的技术问题。

    10、容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释,并不构成对本申请的限定。



    技术特征:

    1.一种目标对象的三维重建方法,其特征在于,包括:

    2.根据权利要求1所述的三维重建方法,其特征在于,获取所述目标多视角图像包括:

    3.根据权利要求1所述的三维重建方法,其特征在于,基于所述目标多视角图像、所述图像采集设备的位置信息以及所述图像采集设备的参数信息,获取所述目标掩码包括:

    4.根据权利要求3所述的三维重建方法,其特征在于,基于所述图像采集设备的位置信息、所述图像采集设备的参数信息以及所述初始三维网格模型获取所述第一掩码包括:

    5.根据权利要求3所述的三维重建方法,其特征在于,基于所述第一掩码、所述第二掩码、所述图像采集设备的位置信息以及所述图像采集设备的参数信息,获取所述第三掩码包括:

    6.根据权利要求5所述的三维重建方法,其特征在于,基于所述图像采集设备的位置信息创建所述初始三维体素模型包括:

    7.根据权利要求5所述的三维重建方法,其特征在于,依据所述待保留体素获取所述中间三维网格模型包括:

    8.根据权利要求3所述的三维重建方法,其特征在于,依据所述第三掩码进行目标对象分割与跟踪,得到所述目标掩码包括:

    9.根据权利要求3所述的三维重建方法,其特征在于,采用所述图像采集设备的位置信息、所述图像采集设备的参数信息以及目标掩码对所述目标对象进行三维重建,得到所述目标对象的所述目标三维网格模型包括:

    10.一种虚拟物品的三维重建方法,其特征在于,包括:

    11.根据权利要求10所述的三维重建方法,其特征在于,基于所述目标多视角图像、所述拓展现实图像采集设备的位置信息以及所述拓展现实图像采集设备的参数信息,获取所述目标掩码包括:

    12.一种目标对象的三维重建方法,其特征在于,包括:

    13.一种目标对象的三维重建方法,其特征在于,包括:

    14.一种电子设备,其特征在于,包括:

    15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至13中任意一项所述的方法。

    16.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至13中任意一项所述的方法。


    技术总结
    本申请公开了一种目标对象的三维重建方法、电子设备及存储介质。其中,该方法包括:获取目标多视角图像;依据目标多视角图像确定图像采集设备的位置信息与图像采集设备的参数信息;基于目标多视角图像、图像采集设备的位置信息以及图像采集设备的参数信息,获取目标掩码;采用图像采集设备的位置信息、图像采集设备的参数信息以及目标掩码对目标对象进行三维重建,得到目标对象的目标三维网格模型。本申请解决了相关技术中的三维重建方式由于依赖不同形式的人工劳动而导致重建效率低下的技术问题。

    技术研发人员:赵郑逸,顾小东,董子龙
    受保护的技术使用者:阿里巴巴(中国)有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-31193.html

    最新回复(0)