本技术涉及数据处理领域,尤其涉及一种点云帧合成方法、装置、设备及存储介质。
背景技术:
1、点云帧合成指的是基于已有的参考帧,预测出两帧之间的点云帧。现有的点云帧合成技术往往通过点融合或特征卷积直接生成预测帧,导致大幅度运动或较长帧间隔的帧预测效果较差,难以满足应用场景的需求。
技术实现思路
1、有鉴于此,本技术实施例提供了一种点云帧合成方法、装置、设备及存储介质,旨在有效提升点云帧合成的预测精度。
2、本技术实施例的技术方案是这样实现的:
3、第一方面,本技术实施例提供了一种点云帧合成方法,包括:
4、获取第一设定帧时刻的第一点云帧数据和第二设定帧时刻的第二点云帧数据;
5、对所述第一点云帧数据和所述第二点云帧数据基于运动估计,生成目标帧时刻的基本点云数据;
6、对所述第一点云帧数据和所述第二点云帧数据基于几何特征提取,生成所述目标帧时刻的坐标偏置数据;
7、基于所述基本点云数据和所述坐标偏置数据,得到所述目标帧时刻的目标点云帧数据;
8、其中,所述目标帧时刻为所述第一设定帧时刻与所述第二设定帧时刻之间的任意帧对应的时刻。
9、上述方案中,所述对所述第一点云帧数据和所述第二点云帧数据基于运动估计,生成目标帧时刻的基本点云数据,包括:
10、对所述第一点云帧数据和所述第二点云帧数据基于运动估计,得到第一场景流数据和第二场景流数据;其中,所述第一场景流数据表征所述第一设定帧时刻至所述第二设定帧时刻的场景流,所述第二场景流数据表征所述第二设定帧时刻至所述第一设定帧时刻的场景流;
11、基于所述第一场景流数据确定第三场景流数据,并基于所述第二场景流数据确定第四场景流数据;其中,所述第三场景流数据表征所述第一设定帧时刻至所述目标帧时刻的场景流,所述第四场景流数据表征所述第二设定帧时刻至所述目标帧时刻的场景流;
12、基于所述第三场景流数据和所述第一点云帧数据,得到所述目标帧时刻的第一基本点云数据,并基于所述第四场景流数据和所述第二点云帧数据,得到所述目标帧时刻的第二基本点云数据;
13、基于所述第一基本点云数据和所述第二基本点云数据,得到所述目标帧时刻的基本点云数据。
14、上述方案中,所述基于所述第一基本点云数据和所述第二基本点云数据,得到所述目标帧时刻的基本点云数据,包括:
15、比较第一时间差值和第二时间差值;其中,所述第一时间差值表征目标帧时刻与所述第一设定帧时刻之间的时间差值,所述第二时间差值表征第二设定帧时刻与所述目标帧时刻之间的时间差值;
16、若所述第一时间差值小于或等于所述第二时间差值,则将所述第一基本点云数据作为所述目标帧时刻的基本点云数据;
17、若所述第一时间差值大于所述第二时间差值,则将所述第二基本点云数据作为所述目标帧时刻的基本点云数据。
18、上述方案中,所述对所述第一点云帧数据和所述第二点云帧数据基于几何特征提取,生成所述目标帧时刻的坐标偏置数据,包括:
19、对所述第一点云帧数据、所述第二点云帧数据分别进行几何特征提取,得到所述第一点云帧数据的第一几何特征数据和所述第二点云帧数据的第二几何特征数据;
20、基于所述第一点云帧数据和所述第一基本点云数据确定的第一时域映射关系,将所述第一几何特征数据映射至所述目标帧时刻,得到第三几何特征数据;
21、基于所述第二点云帧数据和所述第二基本点云数据确定的第二时域映射关系,将所述第二几何特征数据映射至所述目标帧时刻,得到第四几何特征数据;
22、基于所述第三几何特征数据和所述第四几何特征数据,得到所述目标帧时刻的坐标偏置数据。
23、上述方案中,所述方法还包括:
24、基于k近邻算法在所述第一点云帧数据中确定与所述第一基本点云数据中目标点相邻的设定数量个近邻点,并基于所述设定数量个近邻点的距离的倒数得到各所述近邻点的权重系数,基于各所述近邻点的权重系数得到所述第一时域映射关系;
25、基于k近邻算法在所述第二点云帧数据中确定与所述第二基本点云数据中目标点相邻的设定数量个近邻点,并基于所述设定数量个近邻点的距离的倒数得到各所述近邻点的权重系数,基于各所述近邻点的权重系数得到所述第二时域映射关系。
26、上述方案中,所述基于所述第三几何特征数据和所述第四几何特征数据,得到所述目标帧时刻的坐标偏置数据,包括:
27、将所述第三几何特征数据和所述第四几何特征数据进行连接,得到第五几何特征数据;
28、将所述第五几何特征数据进行空间转换,得到所述目标帧时刻的坐标偏置数据。
29、上述方案中,所述基于所述基本点云数据和所述坐标偏置数据,得到所述目标帧时刻的目标点云帧数据,包括:
30、将所述基本点云数据和所述坐标偏置数据进行逐点相加操作,得到所述目标帧时刻的目标点云帧数据。
31、第二方面,本技术实施例提供了一种点云帧合成装置,包括:
32、获取模块,用于获取第一设定帧时刻的第一点云帧数据和第二设定帧时刻的第二点云帧数据;
33、第一生成模块,用于对所述第一点云帧数据和所述第二点云帧数据基于运动估计,生成目标帧时刻的基本点云数据;
34、第二生成模块,用于对所述第一点云帧数据和所述第二点云帧数据基于几何特征提取,生成所述目标帧时刻的坐标偏置数据;
35、合成模块,用于基于所述基本点云数据和所述坐标偏置数据,得到所述目标帧时刻的目标点云帧数据;
36、其中,所述目标帧时刻为所述第一设定帧时刻与所述第二设定帧时刻之间的任意帧对应的时刻。
37、第三方面,本技术实施例提供了一种电子设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器,用于运行计算机程序时,执行本技术实施例第一方面所述方法的步骤。
38、第四方面,本技术实施例提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现本技术实施例第一方面所述方法的步骤。
39、本技术实施例提供的技术方案,获取第一设定帧时刻的第一点云帧数据和第二设定帧时刻的第二点云帧数据;对第一点云帧数据和第二点云帧数据基于运动估计,生成目标帧时刻的基本点云数据;对第一点云帧数据和第二点云帧数据基于几何特征提取,生成目标帧时刻的坐标偏置数据;基于基本点云数据和坐标偏置数据,得到目标帧时刻的目标点云帧数据;其中,目标帧时刻为第一设定帧时刻与第二设定帧时刻之间的任意帧对应的时刻。本技术实施例针对两个设定帧之间的任意帧,可以基于时空域的运动估计和几何特征提取,合成该任意帧的目标点云帧数据,能够满足帧预测的灵活性需求,且基于运动估计和几何特征提取结合的策略,能够提高针对大幅度运动或较长帧间隔的帧预测效果,提升点云帧合成的预测精度。
1.一种点云帧合成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述第一点云帧数据和所述第二点云帧数据基于运动估计,生成目标帧时刻的基本点云数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一基本点云数据和所述第二基本点云数据,得到所述目标帧时刻的基本点云数据,包括:
4.根据权利要求2所述的方法,其特征在于,所述对所述第一点云帧数据和所述第二点云帧数据基于几何特征提取,生成所述目标帧时刻的坐标偏置数据,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求4所述的方法,其特征在于,所述基于所述第三几何特征数据和所述第四几何特征数据,得到所述目标帧时刻的坐标偏置数据,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述基本点云数据和所述坐标偏置数据,得到所述目标帧时刻的目标点云帧数据,包括:
8.一种点云帧合成装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,
10.一种计算机存储介质,所述计算机存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至7任一项所述方法的步骤。