本发明涉及编码和解码3d点云的方法，编码器以及解码器。具体地，涉及旋转传感器头(spinning sensor head)捕获的点云几何数据。
背景技术：
1、作为3d数据表示的格式，点云最近获得了关注，因为它们在表示所有类型的3d对象或场景方面具有多功能性。然而，对于所有的压缩方案，点云点的重建质量是至关重要的。
技术实现思路
1、因此，本发明的目的是提供用于以提高的效率从比特流解码3d点云的几何结构以及将3d点云编码成比特流的方法。
2、该问题通过根据权利要求1的解码方法、根据权利要求9的编码方法、根据权利要求16的解码器、根据权利要求17的编码器、根据权利要求18的比特流以及根据权利要求19的软件来解决。
3、在第一方面，提供了从比特流中解码3d点云的几何结构的方法，该方法优选地在解码器中实现。所述方法包括：接收比特流，其中，所述比特流包括帧序列的帧信息，每一帧表示在特定时间的点云数据；对于序列中的第一帧，获取帧信息并根据所述第一帧的编码数据确定点云的点；对于后续帧(s16)，获取帧信息并基于至少一个先前获得的帧信息来确定点云的点。其中，所述帧信息包括指示所述点云中的点的相对位置的数据；并且所述点云的每个点被表示在多维坐标系中，所述点的表示和排序基于捕获所述点的至少一个特征。因此，本发明涉及一种用于从顺序数据流解释和重建3d空间数据的方法，该顺序数据流优选地由安装在旋转头上的lidar系统生成。旋转lidar头可包括一个或多个传感器，以捕获物理对象的相应点云。该系统捕获“帧”序列，每个帧都是代表周围环境在给定时刻的3d数据点的快照。解码过程从接收编码数据流(比特流)开始，该编码数据流包括关于这些帧的详细信息，包括它们的相对位置。对于该序列中的初始帧，该方法直接从其编码形式中解码点云，因为在当前阶段，点云的先验知识是未知的。对于后续帧，解码过程利用来自至少一个先前帧的信息(包括所述相对位置数据)，以精确地重建点云。点云中的每个点都在多维坐标系中表示，使得可以灵活有效地重建由lidar系统捕获的3d环境。这种方法允许高效和精确地重建由lidar系统捕获的3d环境。
4、优选地，帧信息包括序索引差，该序索引差被配置成指示点云的样本之间的差异，其中每个样本包括点云的一个或多个点。因此，指定帧信息包括“序索引差”。该序索引差可用于显示点云中的样本如何彼此不同。每个样本可以由点云中的单个点或多个点组成。所述序索引差可以解释为量化或描述点云的不同部分(样本或点)在顺序或排列方面如何彼此不同的任何类型的度量或值。在一个更具体的例子中，序索引差可以是数值，该数值指示捕获或处理样本时样本排列中的排序差异。例如，如果lidar在线性路径中捕获点云，则序索引差可以反映沿该路径的连续样本之间的距离或排序。
5、优选地，序索引是根据点云的解码顺序，与每个样本相关联的索引。因此，该索引被分配给每个样本，并且基于点云的解码顺序，即点云数据被编码(或被解码或被排列)的顺序。解码顺序以及随后的序索引可以包括各种方式，例如数据捕获的时间顺序、点的空间排列或数据处理和存储的顺序。对于一个具体的示例，考虑lidar系统以系统模式扫描一个区域。解码顺序可以指扫描不同区域的顺序，序索引可以是标识每个样本在该序列中的位置的编号。例如，如果lidar从左到右扫描，则序索引可以从最左边到最右边的样本递增。解码顺序也可以是具体实施方式中所描述的。
6、优选地，先前获得的帧信息是序列中直接在前的帧信息。因此，通过直接使用在前的帧信息来解码后续帧，所述方法确保了数据解释过程中的连续性和一致性。这种方法提高了点云重建的时间精度，特别是在连续帧密切相关的动态环境中。冗余信息不再需要解码，从而提高了解码效率。
7、优选地，该方法还包括确定比特流中的帧信息对应于点云的高或低部分；继续基于至少一个先前获得的帧信息来确定点云的点。因此，所述方法确定数据属于点云的较高段还是较低段，并相应地调整解码过程。这种区别对于自动驾驶等应用至关重要，在自动驾驶中，点云数据的较低和较高部分不会经常发生变化，因此基于先前解码的帧更可预测。因此，本实施例通过引入识别点云的特定段(高或低)的附加决策步骤来增强解码过程。这种分割可以使得针对点云的不同部分定制有针对性的解码策略，优化针对不同空间特征的处理，这在具有不同地形的复杂环境中特别有益。点云的高部分可以对应于由较高的激光束(例如从8°到15°，优选范围可以从10°到15°)获取的数据，点云的低部分可以对应于由较低的激光束获取的数据(例如从-14°-δθ到-25°，优选范围可为-20°至-25°，其中δθ是两个激光束在垂直方向上的角度差)。上述角度指的是lidar在垂直方向上扫描的范围。
8、优选地，对于后续帧，帧信息的获取和点云的点的确定是基于至少两个先前获得的帧信息，其中，所述两个先前获得的帧信息各自关联有权重，优选地，来自序列中更靠近当前帧的帧的帧信息相对于来自序列中更远的帧的帧信息，被分配更高的权重。因此，所述方法为先前获得的帧信息分配权重，给在序列中更接近正在被解码的当前帧的帧赋予更高的权重。这种加权方法提高了解码数据的准确性和相关性，特别是在动态环境中，其中，最近产生的数据通常比更早的数据更能预测当前状态。
9、优选地，比特流还包含被配置成启用或禁用前述方法的标志，其中，该标志是至少一比特。因此，解码方法在比特流中包括了允许启用或禁用某些过程的标志，提供了对解码算法的灵活性和控制。
10、优选地，点云的每个捕获点由二维离散角平面的点表示，传感器索引作为第一轴的坐标，方位角作为第二轴的坐标，点云的点根据字典顺序排序，首先基于所述方位角使用所述字典排序，然后基于所述传感器索引使用所述字典排序，或者反过来；传感器索引是与捕获点云的至少一个点的传感器相关联的索引，并且方位角是所述传感器的捕获角。因此，该方法还使用了一种创新的方法来组织点云数据，在二维离散角平面内表示每个点。这种基于传感器索引和方位角并按字典顺序排序的布置确保了以有效、系统的方式处理通常由lidar系统产生的大量数据。还参考图9，由实线表示的点是点云的捕获点。由虚线表示的那些可以是未被占用的(例如，反射光束没有被发射激光器接收)。因此，对于两个连续顺序捕获点，序索引差可以是例如1、2、3等。利用上述信息，例如，如果获得了第一点顺序信息，并且序差是已知的，则可以重建点云的其他点。此外，还可以预测后续帧的序差。
11、优选地，该方法还包括：确定比特流中的帧信息对应于点云的中间部分；不继续基于至少一个先前获得的帧信息来确定点云的点。因此，该方法还涉及识别比特流中的帧信息是否与点云的中间部分相关联的附加步骤。在确定帧信息对应于该中间部分时，所述方法需要决定不继续基于先前获得的帧信息确定点云的点的过程。这种主张可被视为通过跳过点云中间部分的某些计算来优化解码过程的方法。所述“中间部分”可以指扫描区域的任何中心段，或者通过其几何位置或数据的捕获顺序来确定。优选地，所述中间部分对应于由中间激光束获取的数据(例如从-14°到8°-δθ，优选地，所述范围可以从-6°到3°，其中δθ是两个激光束在垂直方向上的角度差)。上述角度指的是lidar在垂直方向上扫描的范围。
12、在本发明的另一方面，提供了一种编码方法，该方法包括：为帧序列生成帧信息，每一帧表示特定时间的点云数据；对于序列中的第一帧，基于点云的点的三维数据对点云的点进行编码；对于后续帧，基于至少一个先前编码的帧信息对点云的点进行编码。参照解码方法描述的实施例也适用于相应的编码方法。
13、在本发明的另一方面，提供了用于将3d点云编码成比特流的编码器。所述编码器包括存储器和处理器，其中，指令存储在存储器中，当由所述处理器执行时，实现前述编码方法的步骤。
14、在本发明的另一方面，提供了用于从比特流解码3d点云的解码器。所述解码器包括存储器和处理器，其中，指令存储在存储器中，当由处理器执行时，执行前述解码方法的步骤。
15、在本发明的另一方面，提供了一种比特流，其中，该比特流是通过前面描述的编码方法的步骤编码的。
16、在本发明的另一方面，提供了一种计算机可读存储介质，其中包括执行上述将3d点云编码成比特流的方法的步骤的指令。
17、在本发明的另一方面，提供了一种计算机可读存储介质，其中包括执行上述从比特流解码3d点云的方法的步骤的指令。
1.一种用于从比特流解码点云的点的三维位置的方法，优选地，所述点云由具有多个传感器的旋转光检测和测距雷达头采集，所述方法包括：
2.根据权利要求1所述的方法，所述帧信息包括序索引差，该序索引差被配置为指示所述点云的样本之间的差异，其中，每个样本包括所述点云的一个或多个点。
3.根据权利要求2所述的方法，所述序索引是根据所述点云的解码顺序，与每个样本相关联的索引。
4.根据权利要求1至3中任一项所述的方法，所述方法进一步包括：
5.根据权利要求1至4中任一项所述的方法，对于后续帧，所述帧信息的获取和所述点云的点的确定是基于至少两个先前获得的帧信息，其中，所述两个先前获得的帧信息各自关联有权重，优选地，来自所述序列中更靠近当前帧的帧的帧信息，相对于来自所述序列中更远的帧的帧信息，被分配更高的权重。
6.根据权利要求1至5中任一项所述的方法，所述比特流还包括标志，所述标志被配置成启用或禁用基于所述至少一个先前获得的帧信息确定所述点云的点(s16)的步骤，其中，所述标志为至少一比特。
7.根据权利要求2至5中任一项所述的方法，其中，所述点云的每个捕获点通过二维离散角平面的点来表示，其中，传感器索引作为所述二维离散角平面的第一轴的坐标，并且方位角作为所述二维离散角平面的第二轴的坐标，所述点云的点根据字典顺序排序，首先基于所述方位角使用所述字典排序，然后基于所述传感器索引使用所述字典排序，或者反过来；所述传感器索引是与捕获所述点云的至少一个点的传感器相关联的索引，所述方位角是所述传感器的捕获角。
8.根据权利要求1至7中任一项所述的方法，所述方法进一步包括：
9.一种用于将三维点云编码成比特流的方法，优选地，所述点云由具有多个传感器的旋转光检测和测距雷达头采集，所述方法包括：
10.根据权利要求9所述的方法，所述帧信息包括序索引差，该序索引差被配置为指示所述点云的样本之间的差异，其中，每个样本包括所述点云的一个或多个点。
11.根据权利要求10所述的方法，所述序索引是根据所述点云的编码顺序，与每个样本相关联的索引。
12.根据权利要求9至11中任一项所述的方法，所述方法进一步包括：确定所述帧信息对应于所述点云的高部分或低部分；继续基于至少一个先前编码的帧信息对所述点云的点编码(s26)。
13.根据权利要求7至9中任一项所述的方法，其中，对于后续帧，所述帧信息和所述点云的点的确定是基于至少两个先前编码的帧信息，所述两个先前编码的帧信息各自关联有权重，其中，来自所述序列中更靠近当前帧的帧的帧信息，相对于来自所述序列中更远的帧的帧信息，被分配更高的权重。
14.根据权利要求7至10中任一项所述的方法，其中，所述比特流还包括标志，所述标志被配置成启用或禁用基于所述至少一个先前编码的帧信息对所述点云的点编码(s26)，其中，所述标志为至少一比特。
15.根据权利要求7至11中任一项所述的方法，其中，所述点云的每个捕获点通过二维离散角平面的点来表示，其中，传感器索引作为所述二维离散角平面的第一轴的坐标，并且方位角作为所述二维离散角平面的第二轴的坐标，所述点云的点根据字典顺序排序，首先基于所述方位角使用所述字典排序，然后基于所述传感器索引使用所述字典排序，或者反过来；所述传感器索引是与捕获所述点云的至少一个点的传感器相关联的索引，所述方位角是所述传感器的捕获角。
16.一种用于从比特流解码3d点云的解码器，所述解码器包括至少一个处理器以及存储器，其中，所述存储器存储指令，当所述指令由所述处理器执行时，执行根据权利要求1至8中任一项所述的方法的步骤。
17.一种用于将3d点云编码成比特流的编码器，所述编码器包括至少一个处理器以及存储器，其中，所述处理器存储指令，当所述指令由所述处理器执行时，执行根据权利要求9至15中任一项所述的方法的步骤。
18.一种比特流，通过根据权利要求9至15中任一项所述的方法编码。
19.一种包括指令的计算机可读存储介质，当所述指令由处理器执行时，执行根据权利要求1至15中任一项所述的方法的步骤。
