本公开的实施例一般涉及点云编解码技术,并且更具体地,涉及点云属性编解码的帧间预测。
背景技术:
1、点云是三维(3d)平面中单个数据点的集合,每个点在x、y和z轴上具有设定坐标。因此,点云可以被用于表示三维空间的物理内容。点云已被证明是一种很有前景的3d视觉数据表示方式,适用于从增强现实到自动驾驶汽车的广泛沉浸式应用。
2、点云编解码标准主要是通过著名的mpeg组织的发展而演变而来的。mpeg是动态图像专家组(moving picture experts group)的简称,其是处理多媒体的主要标准化小组之一。2017年,mpeg 3d图形编解码小组(3dg)发布了一份提案征集(cfp)文件,以开始发展点云编解码标准。最终标准将囊括两种类别的解决方案。基于视频的点云压缩(v-pcc或vpcc)适用于点分布相对均匀的点集。基于几何的点云压缩(g-pcc或gpcc)适用于更稀疏的分布。然而,总体期望进一步提高常规点云编解码技术的编解码效率。
技术实现思路
1、本发明实施例提供一种用于点云编解码的解决方案。
2、在第一方面,提出了一种用于点云编解码的方法。该方法包括:在点云序列的当前点云(pc)样本与点云序列的比特流之间的转换期间,针对当前pc样本中的当前点,基于多个搜索范围确定当前pc样本的一组参考pc样本中的至少一个邻近点;以及基于至少一个邻近点执行转换,其中一组参考pc样本包括第一参考pc样本和不同于第一参考pc样本的第二参考pc样本,多个搜索范围包括针对第一参考pc样本的第一搜索范围和针对第二参考pc样本的第二搜索范围,并且第一搜索范围不同于第二搜索范围。
3、基于根据本公开第一方面的方法,用于不同参考pc样本的搜索范围是不同的。与用于不同参考pc样本的搜索范围相同的转换方案相比,所提出的方法可以有利地提高邻近点搜索的效率,从而提高点云编解码的效率。
4、在第二方面,提出了另一种用于点云编解码的方法。该方法包括:在点云序列的当前帧与点云序列的比特流之间的转换期间,通过基于第一坐标系对当前帧中的当前点执行属性帧间预测,获取当前点的预测属性值,当前点的几何信息在不同于第一坐标系的第二坐标系中被表示;以及基于预测属性值执行转换。
5、基于根据本公开第二方面的方法,基于与表示几何信息的坐标系不同的坐标系来执行属性帧间预测。与这两个坐标系相同的转换方案相比,所提出的方法可以有利地提高属性帧间预测的效率,从而提高点云编解码的效率。
6、第三方面,提出了另一种用于点云编解码方法。该方法包括:基于点云序列的当前帧与点云序列的另一帧之间的帧距离,在当前帧与点云序列的比特流之间执行转换,帧距离与当前帧与另一帧之间在时间戳顺序上的距离成比例。
7、基于根据本公开第三方面的方法,帧距离在转换期间被利用。与缺少这种特征的转换方案相比,所提出的方法可以有利地提高点云编解码的效率。
8、第四方面,提出了一种用于处理点云数据的装置。用于处理点云数据的装置包括处理器和其上具有指令的非暂态存储器。指令在由处理器执行时使处理器执行根据本公开的第一、第二或第三方面的方法。
9、在第五方面,提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质,存储使处理器执行根据本公开的第一、第二或第三方面的方法的指令。
10、在第六方面,提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质点云序列的由点云处理装置执行的方法生成的比特流,其中方法包括:针对点云序列的当前点云(pc)样本中的当前点,基于多个搜索范围,确定当前pc样本的一组参考pc样本中的至少一个邻近点;以及基于至少一个邻近点生成比特流,其中一组参考pc样本包括第一参考pc样本和不同于第一参考pc样本的第二参考pc样本,多个搜索范围包括针对第一参考pc样本的第一搜索范围和针对第二参考pc样本的第二搜索范围,并且第一搜索范围不同于第二搜索范围。
11、在第七方面,提出了一种用于存储点云序列的比特流的方法。该方法包括:针对点云序列的当前点云(pc)样本中的当前点,基于多个搜索范围,确定当前pc样本的一组参考pc样本中的至少一个邻近点;基于至少一个邻近点生成比特流;以及将比特流存储在非暂态计算机可读记录介质中,其中一组参考pc样本包括第一参考pc样本和不同于第一参考pc样本的第二参考pc样本,多个搜索范围包括针对第一参考pc样本的第一搜索范围和针对第二参考pc样本的第二搜索范围,并且第一搜索范围不同于第二搜索范围。
12、在第八方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储点云序列的由点云处理装置执行的方法生成的比特流,其中该方法包括:通过基于第一坐标系对点云序列的当前帧中的当前点执行属性帧间预测,获取当前点的预测属性值,当前点的几何信息在不同于第一坐标系的第二坐标系中被表示;以及基于预测属性值生成比特流。
13、在第九方面,提出了另一种用于存储点云序列的比特流的方法。该方法包括:通过基于第一坐标系对点云序列的当前帧中的当前点执行属性帧间预测,获取当前点的预测属性值,当前点的几何信息在不同于第一坐标系的第二坐标系中被表示;基于预测属性值生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。
14、在第十方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储点云序列的由点云处理装置执行的方法生成的比特流,其中方法包括:基于点云序列的当前帧与点云序列的另一帧之间的帧距离,在当前帧与比特流之间执行转换,帧距离与当前帧与另一帧之间在时间戳顺序上的距离成比例。
15、在第十一方面,提出了另一种用于存储点云序列的比特流的方法。该方法包括:基于点云序列的当前帧与点云序列的另一帧之间的帧距离,在当前帧与比特流之间执行转换,帧距离与当前帧与另一帧之间在时间戳顺序上的距离成比例;以及将比特流存储在非暂态计算机可读记录介质中。
16、提供本
技术实现要素:
是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护的主题的范围。
1.一种用于点云编解码的方法,包括:
2.根据权利要求1所述的方法,其中所述多个搜索范围中的针对所述当前pc样本的属性帧内预测的搜索范围不同于多个搜索范围中的针对所述当前pc样本的属性帧间预测的搜索范围。
3.根据权利要求1所述的方法,其中所述多个搜索范围中的针对所述当前pc样本的属性帧内预测的搜索范围与所述多个搜索范围中的针对所述当前pc样本的属性帧间预测的搜索范围相同。
4.根据权利要求1所述的方法,其中属性帧内预测和属性帧间预测在所述当前pc样本上被执行,所述属性帧内预测在所述点云序列的另一pc样本上被执行,并且所述属性帧间预测不在所述另一pc样本上被执行,针对所述当前pc样本的所述属性帧内预测的搜索范围不同于针对所述另一pc样本的所述属性帧内预测的搜索范围。
5.根据权利要求1-4中任一项所述的方法,其中在编码器或解码器处,所述多个搜索范围被确定。
6.根据权利要求1-5中任一项所述的方法,其中所述当前pc样本包括与所述当前点不同的另一点,并且针对所述当前点的在所述当前pc样本中的搜索范围不同于针对所述另一点的在所述当前pc样本中的搜索范围。
7.根据权利要求1-6中任一项所述的方法,其中所述当前pc样本包括与所述当前点不同的另一点,所述一组参考pc样本包括第一参考pc样本,并且针对所述当前点的在所述第一参考pc样本中的搜索范围与针对所述另一点的在所述第一参考pc样本中的搜索范围不同。
8.根据权利要求1-5中任一项所述的方法,其中所述当前pc样本包括与所述当前点不同的另一点,并且针对所述当前点的在所述当前pc样本中的搜索范围与针对所述另一点的在所述当前pc样本中的搜索范围相同。
9.根据权利要求1-5和8中任一项所述的方法,其中所述当前pc样本包括与所述当前点不同的另一点,所述一组参考pc样本包括第一参考pc样本,并且针对所述当前点的在所述第一参考pc样本中的搜索范围与针对所述另一点的在所述第一参考pc样本中的搜索范围相同。
10.根据权利要求1-9中任一项所述的方法,其中所述当前点在所述当前pc样本的第一细节层次(lod)中,所述当前pc样本包括不同于所述第一lod的第二lod中的另一点,并且针对所述当前点的在所述当前pc样本中的搜索范围不同于针对所述另一点的在所述当前pc样本中的搜索范围。
11.根据权利要求1-10中任一项所述的方法,其中所述当前点在所述当前pc样本的第一lod中,所述当前pc样本包括不同于所述第一lod的第二lod中的另一点,所述一组参考pc样本包括第一参考pc样本,并且针对所述当前点的在所述第一参考pc样本中的搜索范围与针对所述另一点的在所述第一参考pc样本中的搜索范围不同。
12.根据权利要求1-9中任一项所述的方法,其中所述当前点在所述当前pc样本的第一lod中,所述当前pc样本包括不同于所述第一lod的第二lod中的另一点,并且针对所述当前点的在所述当前pc样本中的搜索范围与针对所述另一点的在所述当前pc样本中的搜索范围相同。
13.根据权利要求1-9和12中任一项所述的方法,其中所述当前点在所述当前pc样本的第一lod中,所述当前pc样本包括不同于所述第一lod的第二lod中的另一点,所述一组参考pc样本包括第一参考pc样本,并且针对所述当前点的在所述第一参考pc样本中的搜索范围与针对所述另一点的在所述第一参考pc样本中的搜索范围相同。
14.根据权利要求1-9中任一项所述的方法,其中所述当前点在所述当前pc样本的第一细化层次中,所述当前pc样本包括在低于所述第一细化层次的细化层次中的第一点和在高于所述第一细化层次的细化层次中的第二点,并且以下至少两项彼此不同:
15.根据权利要求1-9和14中任一项所述的方法,其中所述当前点在所述当前pc样本的第一细化层次中,所述当前pc样本包括在低于所述第一细化层次的细化层次中的第一点和在高于所述第一细化层次的细化层次中的第二点,所述一组参考pc样本包括第一参考pc样本,并且以下至少两项彼此不同:
16.根据权利要求1-9中任一项所述的方法,其中所述当前点在所述当前pc样本的第一细化层次中,所述当前pc样本包括在低于所述第一细化层次的细化层次中的第一点和在高于所述第一细化层次的细化层次中的第二点,并且以下至少两项是相同的:
17.根据权利要求1-9和16中任一项所述的方法,其中所述当前点在所述当前pc样本的第一细化层次中,所述当前pc样本包括在低于所述第一细化层次的细化层次中的第一点和在高于所述第一细化层次的细化层次中的第二点,所述一组参考pc样本包括第一参考pc样本,并且以下至少两项是相同的:
18.根据权利要求1-17中任一项所述的方法,其中所述当前点在所述当前pc样本的第一切片中,所述当前pc样本包括不同于所述第一切片的第二切片中的另一点,并且针对所述当前点的在所述当前pc样本中的搜索范围不同于针对所述另一点的在所述当前pc样本中的搜索范围。
19.根据权利要求1-18中任一项所述的方法,其中所述当前点在所述当前pc样本的第一切片中,所述当前pc样本包括与所述第一切片不同的第二切片中的另一点,所述一组参考pc样本包括第一参考pc样本,并且针对所述当前点的在所述第一参考pc样本中的搜索范围不同于针对所述另一点的在所述第一参考pc样本中的搜索范围。
20.根据权利要求1-17中任一项所述的方法,其中所述当前点在所述当前pc样本的第一切片中,所述当前pc样本包括不同于所述第一切片的第二切片中的另一点,并且针对所述当前点的在所述当前pc样本中的搜索范围与针对所述另一点的在所述当前pc样本中的搜索范围相同。
21.根据权利要求1-17中任一项所述的方法,其中所述当前点在所述当前pc样本的第一切片中,所述当前pc样本包括不同于所述第一切片的第二切片中的另一点,所述一组参考pc样本包括第一参考pc样本,并且针对所述当前点的在所述第一参考pc样本中的搜索范围与针对所述另一点的在所述第一参考pc样本中的搜索范围相同。
22.根据权利要求1-17中任一项所述的方法,其中所述当前点在所述当前pc样本的第一分块中,所述当前pc样本包括不同于所述第一分块的第二分块中的另一点,并且针对所述当前点的在所述当前pc样本中的搜索范围不同于针对所述另一点的在所述当前pc样本中的搜索范围。
23.根据权利要求1-17和22中任一项所述的方法,所述当前点在所述当前pc样本的第一分块中,所述当前pc样本包括不同于所述第一分块的第二分块中的另一点,所述一组参考pc样本包括第一参考pc样本,并且针对所述当前点的在所述第一参考pc样本中的搜索范围不同于针对所述另一点的在所述第一参考pc样本中的搜索范围。
24.根据权利要求1-17中任一项所述的方法,所述当前点在所述当前pc样本的第一分块中,所述当前pc样本包括不同于所述第一分块的第二分块中的另一点,并且针对所述当前点的在所述当前pc样本中的搜索范围与针对所述另一点的在所述当前pc样本中的搜索范围相同。
25.根据权利要求1-17和24中任一项所述的方法,所述当前点在所述当前pc样本的第一分块中,所述当前pc样本包括不同于所述第一分块的第二分块中的另一点,所述一组参考pc样本包括第一参考pc样本,并且针对所述当前点的在所述第一参考pc样本中的搜索范围与针对所述另一点的在所述第一参考pc样本中的搜索范围相同。
26.根据权利要求1-25中任一项所述的方法,其中pc样本是点云帧或点云帧内的子区域。
27.根据权利要求1-26中任一项所述的方法,其中所述至少一个邻近点包括所述当前点的至少一个最近邻。
28.根据权利要求1-27中任一项所述的方法,其中所述转换包括将所述当前pc样本编码到所述比特流中。
29.根据权利要求1-27中任一项所述的方法,其中所述转换包括从所述比特流中解码所述当前pc样本。
30.一种用于点云编解码的方法,包括:
31.根据权利要求30所述的方法,其中所述第一坐标系或所述第二坐标系是以下一项:
32.根据权利要求30-31中任一项所述的方法,还包括:
33.根据权利要求32所述的方法,其中所述坐标的所述转换在几何编解码之后被执行。
34.根据权利要求32-33中任一项所述的方法,其中所述坐标的所述转换在属性编解码之前被执行。
35.根据权利要求32-34中任一项所述的方法,其中所述坐标的所述转换在编码器和解码器处被执行。
36.根据权利要求32-35中任一项所述的方法,其中包括在所述当前帧的所述几何信息中的所述坐标在所述坐标的所述转换期间被缩放。
37.根据权利要求32-36中任一项所述的方法,其中包括在所述至少一个参考帧的所述几何信息中的所述坐标在所述坐标的所述转换期间被缩放。
38.根据权利要求32-35中任一项所述的方法,其中包括在所述当前帧的所述几何信息中的所述坐标在所述坐标的所述转换之后被缩放。
39.根据权利要求32-35和38中任一项所述的方法,其中包括在所述至少一个参考帧的所述几何信息中的所述坐标在所述坐标的所述转换之后被缩放。
40.根据权利要求32-35中任一项所述的方法,其中包括在所述当前帧的所述几何信息中的所述坐标在所述坐标的所述转换期间被变换。
41.根据权利要求32-35和40中任一项所述的方法,其中包括在所述至少一个参考帧的所述几何信息中的所述坐标在所述坐标的所述转换期间被变换。
42.根据权利要求32-35中任一项所述的方法,其中包括在所述当前帧的所述几何信息中的所述坐标在所述坐标的所述转换之后被变换。
43.根据权利要求32-35和40中任一项所述的方法,其中包括在所述至少一个参考帧的所述几何信息中的所述坐标在所述坐标的所述转换之后被变换。
44.一种用于点云编解码的方法,包括:
45.根据权利要求44所述的方法,其中所述时间戳顺序是所述点云序列的帧的渲染顺序。
46.根据权利要求44所述的方法,其中所述时间戳顺序是所述点云序列的帧的采集顺序。
47.根据权利要求44-46中任一项所述的方法,其中所述当前帧是根据所述时间戳顺序的所述点云序列中的第m帧,所述另一帧是根据所述时间戳顺序的所述点云序列中的第n帧,m和n中的每一个是非负整数,并且所述帧距离与m和n之间的差或m和n之间的绝对差成比例。
48.根据权利要求44-47中任一项所述的方法,其中所述当前帧与所述当前帧自身之间的帧距离为预定值。
49.根据权利要求48所述的方法,其中所述预定值为0。
50.根据权利要求44-49中任一项所述的方法,其中所述另一帧为所述当前帧的参考帧,并且所述当前帧与所述参考帧之间的所述帧距离在编码器或解码器处被确定。
51.根据权利要求44-49中任一项所述的方法,其中所述另一帧为所述当前帧的参考帧,并且所述当前帧与所述参考帧之间的所述帧距离在所述比特流中被指示。
52.根据权利要求51所述的方法,其中所述帧距离使用固定长度编解码、一元编解码、或截断一元编解码中的一项被编解码。
53.根据权利要求51所述的方法,其中所述帧距离以预测方式被编解码。
54.根据权利要求44-53中任一项所述的方法,其中用于指示所述当前帧按所述时间戳顺序的位置的指示在所述比特流中针对所述当前帧被指示。
55.根据权利要求44-54中任一项所述的方法,其中所述另一帧为所述当前帧的至少一个参考帧之一,并且执行所述转换包括:
56.根据权利要求55所述的方法,其中所述至少一个邻近点包括所述当前点的至少一个最近邻。
57.根据权利要求55-56中任一项所述的方法,其中所述至少一个参考帧包括第一参考帧,所述第一参考帧包括第一点,并且所述当前点与所述第一点之间的第一几何距离取决于所述当前帧与所述第一参考帧之间的第一帧距离。
58.根据权利要求57所述的方法,其中所述至少一个参考帧进一步包括第二参考帧,所述第二参考帧包括第二点,所述第一帧距离小于所述当前帧与所述第二参考帧之间的第二帧距离,并且所述第一几何距离小于所述当前点与所述第二点之间的第二几何距离。
59.根据权利要求57-58中任一项所述的方法,其中所述第一几何距离基于所述第一帧距离和所述当前点与所述第一点之间的初始几何距离被确定,所述初始几何距离基于所述当前点的几何位置与所述第一点的几何位置之间的度量被确定。
60.根据权利要求59所述的方法,其中所述第一几何距离是所述第一帧距离与所述初始几何距离之和。
61.根据权利要求59-60中任一项所述的方法,其中所述度量是以下之一:
62.根据权利要求44-54中任一项所述的方法,其中所述另一帧为所述当前帧的至少一个参考帧之一,并且执行所述转换包括:
63.根据权利要求62所述的方法,其中所述至少一个邻近点包括所述当前点的至少一个最近邻。
64.根据权利要求62-63中任一项所述的方法,其中所述至少一个邻近点包括所述至少一个参考帧中的第一参考帧中的第一邻近点,并且针对所述第一邻近点的权重取决于所述当前帧与所述第一参考帧之间的第一帧距离。
65.根据权利要求64所述的方法,其中所述至少一个邻近点进一步包括所述至少一个参考帧中的第二参考帧中的第二邻近点,所述第一帧距离小于所述当前帧与所述第二参考帧之间的第二帧距离,并且针对所述第一邻近点的所述权重小于针对所述第二邻近点的权重。
66.根据权利要求64-65中任一项所述的方法,其中针对所述第一邻近点的权重基于所述第一帧距离和针对所述第一邻近点的原始生成权重被确定。
67.根据权利要求66所述的方法,其中针对所述第一邻近点的所述权重是所述第一帧距离与所述原始生成权重之和。
68.根据权利要求30-67中任一项所述的方法,其中所述转换包括将所述当前帧编码到所述比特流中。
69.根据权利要求30-67中任一项所述的方法,其中所述转换包括从所述比特流中解码所述当前帧。
70.一种用于处理点云数据的装置,包括处理器和其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-69中任一项所述的方法。
71.一种非暂态计算机可读存储介质,存储使处理器执行根据权利要求1-69中任一项的方法的指令。
72.一种非暂态计算机可读记录介质,存储点云序列的由点云处理装置执行的方法生成的比特流,其中所述方法包括:
73.一种用于存储点云序列的比特流的方法,包括:
74.一种非暂态计算机可读记录介质,存储点云序列的由点云处理装置执行的方法生成的比特流,其中所述方法包括:
75.一种用于存储点云序列的比特流的方法,包括:
76.一种非暂态计算机可读记录介质,存储点云序列的由点云处理装置执行的方法生成的比特流,其中所述方法包括:
77.一种用于存储点云序列的比特流的方法,包括:
