本技术涉及扩展现实，尤其涉及一种数据处理方法、装置及设备。
背景技术：
1、扩展现实(extended reality，简称xr)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。xr技术也是vr(virtual reality，虚拟现实)、ar(augmented reality，增强现实)、mr(mixed reality，混合现实)等多种技术的统称。其中，指环、手柄等控制器是人机交互、扩展现实与真实世界交互的关键设备之一，因而针对相关控制器的定位与用户的沉浸体验感息息相关。
2、以指环为例，现有技术中，一种指环定位方案是通过融合手势和imu(inertialmeasurement unit，惯性测量单元)来进行定位，但当用户做出握拳、手侧对相机等复杂手势时，手势精度很差，进而导致此时的定位精度也会变差。另一种指环定位方案是通过观测多个led(light emitting diode，红外发光二极管)来进行定位，这种方式虽然能够实现可靠定位，但是集成多个led时会导致指环的体积过大，以至于指环交互不够轻便。
技术实现思路
1、本技术实施例提供了一种数据处理方法、装置及设备，可以在提升指环定位精度的同时，减小指环的体积，提升指环交互的稳定性和轻便性。
2、本技术实施例一方面提供了一种数据处理方法，包括：
3、获取与头戴设备相关联的指环通过惯性传感器发送的第一采集时间对对应的第一惯性测量数据，在获取到第一采集时间对中的第一时刻的第一历史状态预测向量时，由状态滤波器通过第一惯性测量数据和第一历史状态预测向量进行状态预测，得到第一采集时间对中的第二时刻的第一状态预测向量；第一时刻为第二时刻的上一时刻；指环上包含除惯性传感器之外的单光源器件；
4、在从头戴设备所采集到的曝光图像中获取到用于进行手势检测的第一曝光图像时，从第一曝光图像中确定佩戴指环的业务对象的手势关节点，基于手势关节点在第一曝光图像中的关节点位置信息，确定手势关节点在第二时刻的手势观测信息，由状态滤波器基于手势观测信息，对第一状态预测向量进行状态更新，且将状态更新后的第一状态预测向量作为第二时刻的第一状态更新向量；第一状态更新向量用于在第二时刻和第三时刻所构成的第二采集时间对内，将第一历史状态预测向量更新为第二历史状态预测向量；第二采集时间对为第一采集时间对的下一采集时间对；
5、在获取到惯性传感器发送的第二采集时间对对应的第二惯性测量数据时，由状态滤波器通过第二惯性测量数据和第二历史状态预测向量进行状态预测，得到第二采集时间对中的第三时刻的第二状态预测向量；第二时刻为第三时刻的上一时刻；
6、在从头戴设备所采集到的曝光图像中获取到用于进行光源检测的第二曝光图像时，基于关节点位置信息，在第二曝光图像中确定单光源器件在第三时刻的光源观测信息，由状态滤波器基于光源观测信息，对第二状态预测向量进行状态更新，基于状态更新后的第二状态预测向量确定指环的位姿信息。
7、本技术实施例一方面提供了一种数据处理装置，包括：
8、第一预测模块，用于获取与头戴设备相关联的指环通过惯性传感器发送的第一采集时间对对应的第一惯性测量数据，在获取到第一采集时间对中的第一时刻的第一历史状态预测向量时，由状态滤波器通过第一惯性测量数据和第一历史状态预测向量进行状态预测，得到第一采集时间对中的第二时刻的第一状态预测向量；第一时刻为第二时刻的上一时刻；指环上包含除惯性传感器之外的单光源器件；
9、第一更新模块，用于在从头戴设备所采集到的曝光图像中获取到用于进行手势检测的第一曝光图像时，从第一曝光图像中确定佩戴指环的业务对象的手势关节点，基于手势关节点在第一曝光图像中的关节点位置信息，确定手势关节点在第二时刻的手势观测信息，由状态滤波器基于手势观测信息，对第一状态预测向量进行状态更新，且将状态更新后的第一状态预测向量作为第二时刻的第一状态更新向量；第一状态更新向量用于在第二时刻和第三时刻所构成的第二采集时间对内，将第一历史状态预测向量更新为第二历史状态预测向量；第二采集时间对为第一采集时间对的下一采集时间对；
10、第二预测模块，用于在获取到惯性传感器发送的第二采集时间对对应的第二惯性测量数据时，由状态滤波器通过第二惯性测量数据和第二历史状态预测向量进行状态预测，得到第二采集时间对中的第三时刻的第二状态预测向量；第二时刻为第三时刻的上一时刻；
11、第二更新模块，用于在从头戴设备所采集到的曝光图像中获取到用于进行光源检测的第二曝光图像时，基于关节点位置信息，在第二曝光图像中确定单光源器件在第三时刻的光源观测信息，由状态滤波器基于光源观测信息，对第二状态预测向量进行状态更新，基于状态更新后的第二状态预测向量确定指环的位姿信息。
12、其中，第一曝光图像包括由头戴设备上的第一相机所采集到的第一曝光子图像和由头戴设备上的第二相机所采集到的第二曝光子图像；
13、第一更新模块包括：
14、手势检测单元，用于在从头戴设备所采集到的曝光图像中获取到用于进行手势检测的第一曝光图像时，分别对第一曝光图像中的第一曝光子图像和第二曝光子图像进行手势检测，得到手势检测结果；
15、手势确定单元，用于当手势检测结果指示在第一曝光子图像中检测到佩戴指环的业务对象的手势关节点，且在第二曝光子图像中检测到手势关节点时，获取第一相机在第二时刻的第一相机参数以及第二相机在第二时刻的第二相机参数，且将手势关节点在第一曝光子图像中的第一关节点位置信息以及手势关节点在第二曝光子图像中的第二关节点位置信息，作为手势关节点在第一曝光图像中的关节点位置信息；基于第一相机参数、第二相机参数以及关节点位置信息，确定手势关节点在第二时刻的手势观测信息；
16、手势更新单元，用于根据手势观测信息确定第二时刻的第一观测模型，由状态滤波器基于手势观测信息和第一观测模型，对第一状态预测向量进行状态更新，且将状态更新后的第一状态预测向量作为第二时刻的第一状态更新向量。
17、其中，手势检测单元包括：
18、第一手势检测子单元，用于获取与头戴设备相关联的手势检测模型；将第一曝光子图像输入至手势检测模型，通过手势检测模型，从第一曝光子图像中提取佩戴指环的业务对象的手势所在的第一手势区域，对第一手势区域进行关节点检测，得到业务对象的手势关节点在第一曝光子图像中的第一关节点位置信息；
19、第二手势检测子单元，用于将第二曝光子图像输入至手势检测模型，通过手势检测模型，从第二曝光子图像中提取业务对象的手势所在的第二手势区域，对第二手势区域进行关节点检测，得到业务对象的手势关节点在第二曝光子图像中的第二关节点位置信息；
20、检测结果确定子单元，用于基于第一关节点位置信息和第二关节点位置信息确定手势检测结果。
21、其中，手势确定单元包括：
22、手势三角化子单元，用于通过第一相机参数和第二相机参数，对关节点位置信息进行三角化处理，得到手势关节点在头戴设备所在的世界坐标系中的三维关节点位置信息；
23、手势观测确定子单元，用于基于手势关节点的三维关节点位置信息，确定手势关节点的手势位置观测信息和手势姿态观测信息，将手势位置观测信息和手势姿态观测信息中的一种或多种观测信息作为手势关节点在第二时刻的手势观测信息。
24、其中，第一相机参数包括第一相机在第二时刻的第一相机外参和第一相机内参；第一相机外参包括第一相机的第一相机位置信息和第一相机姿态信息；第一相机内参包括第一相机的第一相机焦距和第一相机光心；第二相机参数包括第二相机在第二时刻的第二相机外参和第二相机内参；第二相机外参包括第二相机的第二相机位置信息和第二相机姿态信息；第二相机内参包括第二相机的第二相机焦距和第二相机光心；
25、手势三角化子单元具体用于根据第一相机外参、第一相机内参以及关节点位置信息中的第一关节点位置信息，确定手势关节点的第一投影射线；第一相机位置信息用于指示第一投影射线的起点；第一相机姿态信息、第一相机焦距、第一相机光心以及第一关节点位置信息用于确定第一投影射线的方向；根据第二相机外参、第二相机内参以及关节点位置信息中的第二关节点位置信息，确定手势关节点的第二投影射线；第二相机位置信息用于指示第二投影射线的起点；第二相机姿态信息、第二相机焦距、第二相机光心以及第二关节点位置信息用于确定第二投影射线的方向；在获取到第一投影射线和第二投影射线之间的公垂线段的中点时，将公垂线段的中点的三维位置坐标作为手势关节点在头戴设备所在的世界坐标系中的三维关节点位置信息。
26、其中，手势关节点包括指环所在的佩戴位置对应的佩戴关节点、以及与佩戴关节点相关联的第一关节点和第二关节点；
27、手势观测确定子单元具体用于从手势关节点的三维关节点位置信息中，获取佩戴关节点的三维关节点位置信息、第一关节点的三维关节点位置信息以及第二关节点的三维关节点位置信息，将佩戴关节点的三维关节点位置信息作为手势位置观测信息；根据佩戴关节点的三维关节点位置信息、第一关节点的三维关节点位置信息以及第二关节点的三维关节点位置信息，确定手势姿态观测信息。
28、其中，当手势观测信息中包含手势位置观测信息时，第一观测模型包括三维位置观测模型；
29、手势更新单元包括：
30、第一矩阵确定子单元，用于通过三维位置观测模型获取与第一状态预测向量相关联的第一位置状态信息和第一误差状态向量，基于第一位置状态信息和第一误差状态向量，确定第一位置观测矩阵；
31、第一残差确定子单元，用于根据手势位置观测信息和第一位置状态信息，确定第一位置观测残差；
32、第一增益确定子单元，用于在获取到第一状态预测向量的第一状态协方差矩阵时，基于第一状态协方差矩阵和第一位置观测矩阵，确定第一滤波增益；
33、第一状态更新子单元，用于由状态滤波器通过第一滤波增益和第一位置观测残差对第一状态预测向量进行状态更新，且基于通过三维位置观测模型进行状态更新后的第一状态预测向量确定第二时刻的第一状态更新向量。
34、其中，当手势观测信息中包含手势姿态观测信息时，第一观测模型包括三维姿态观测模型；
35、手势更新单元包括：
36、第二矩阵确定子单元，用于通过三维姿态观测模型获取与第一状态预测向量相关联的第一姿态状态信息和第二误差状态向量，基于第一姿态状态信息和第二误差状态向量，确定姿态观测矩阵；
37、第二残差确定子单元，用于根据手势姿态观测信息和第一姿态状态信息，确定姿态观测残差；
38、第二增益确定子单元，用于在获取到第一状态预测向量的第二状态协方差矩阵时，基于第二状态协方差矩阵和姿态观测矩阵，确定第二滤波增益；
39、第二状态更新子单元，用于由状态滤波器通过第二滤波增益和姿态观测残差对第一状态预测向量进行状态更新，且基于通过三维姿态观测模型进行状态更新后的第一状态预测向量确定第二时刻的第一状态更新向量。
40、其中，第二曝光图像包括由头戴设备上的第一相机所采集到的第三曝光子图像和由头戴设备上的第二相机所采集到的第四曝光子图像；关节点位置信息包括手势关节点在第一曝光图像包含的第一曝光子图像中的第一关节点位置信息、以及手势关节点在第一曝光图像包含的第二曝光子图像中的第二关节点位置信息；第一曝光子图像是由第一相机采集到的；第二曝光子图像是由第二相机采集到的；
41、第二更新模块包括：
42、光源检测单元，用于在从头戴设备所采集到的曝光图像中获取到用于进行光源检测的第二曝光图像时，分别对第二曝光图像中的第三曝光子图像和第四曝光子图像进行光源检测，得到第三曝光子图像中的第一光斑和第四曝光子图像中的第二光斑；
43、光源确定单元，用于通过第一关节点位置信息对第一光斑进行光源关联，且通过第二关节点位置信息对第二光斑进行光源关联，得到光源检测结果，基于光源检测结果确定单光源器件在第三时刻的光源观测信息；
44、光源更新单元，用于根据光源观测信息确定第三时刻的第二观测模型，由状态滤波器基于光源观测信息和第二观测模型，对第二状态预测向量进行状态更新，且将状态更新后的第二状态预测向量作为第三时刻的第二状态更新向量，基于第二状态更新向量确定指环的位姿信息。
45、其中，光源检测单元包括：
46、第一光源检测子单元，用于对第三曝光子图像进行二值化处理，在从二值化处理后的第三曝光子图像中提取到第一连通域时，对第一连通域进行噪点滤除处理，得到第三曝光子图像中的第一光斑；
47、第二光源检测子单元，用于对第四曝光子图像进行二值化处理，在从二值化处理后的第四曝光子图像中提取到第二连通域时，对第二连通域进行噪点滤除处理，得到第四曝光子图像中的第二光斑。
48、其中，手势关节点包括指环所在的佩戴位置对应的佩戴关节点；第一关节点位置信息包括佩戴关节点在第一曝光子图像中的二维关节点位置信息；第二关节点位置信息包括佩戴关节点在第二曝光子图像中的二维关节点位置信息；
49、光源确定单元包括：
50、第一光斑关联子单元，用于获取与第三曝光子图像相关联的第一查找半径，根据佩戴关节点在第一曝光子图像中的二维关节点位置信息和第一查找半径，确定在第三曝光子图像中的第一查找范围，在第一查找范围内查找与佩戴关节点距离最近的光斑，得到第一查找结果；
51、第二光斑关联子单元，用于获取与第四曝光子图像相关联的第二查找半径，根据佩戴关节点在第二曝光子图像中的二维关节点位置信息和第二查找半径，确定在第四曝光子图像中的第二查找范围，在第二查找范围内查找与佩戴关节点距离最近的光斑，得到第二查找结果；
52、光源观测确定子单元，用于将第一查找结果和第二查找结果作为光源检测结果，基于光源检测结果确定单光源器件在第三时刻的光源观测信息。
53、其中，光源观测确定子单元具体用于若光源检测结果指示在第一查找范围内查找到与佩戴关节点距离最近的光斑，且在第二查找范围内未查找到与佩戴关节点距离最近的光斑，则将在第一查找范围内查找到的光斑的中心位置坐标，作为单光源器件在第三曝光子图像中的第一光源位置信息；若光源检测结果指示在第一查找范围内未查找到与佩戴关节点距离最近的光斑，且在第二查找范围内查找到与佩戴关节点距离最近的光斑，则将在第二查找范围内查找到的光斑的中心位置坐标，作为单光源器件在第四曝光子图像中的第二光源位置信息；若光源检测结果指示在第一查找范围内查找到与佩戴关节点距离最近的光斑，且在第二查找范围内查找到与佩戴关节点距离最近的光斑，则获取第一相机在第三时刻的第三相机参数以及第二相机在第三时刻的第四相机参数，通过第三相机参数和第四相机参数，对第一光源位置信息以及第二光源位置信息进行三角化处理，得到单光源器件在头戴设备所在的世界坐标系中的三维光源位置信息；将第一光源位置信息或第二光源位置信息或三维光源位置信息作为单光源器件在第三时刻的光源观测信息。
54、其中，当光源观测信息为三维光源位置信息时，第二观测模型为三维位置观测模型；
55、光源更新单元包括：
56、第三矩阵确定子单元，用于通过三维位置观测模型获取与第二状态预测向量相关联的第二位置状态信息和第三误差状态向量，基于第二位置状态信息和第三误差状态向量，确定第二位置观测矩阵；
57、第三残差确定子单元，用于根据三维光源位置信息和第二位置状态信息，确定第二位置观测残差；
58、第三增益确定子单元，用于在获取到第二状态预测向量的第三状态协方差矩阵时，基于第三状态协方差矩阵和第二位置观测矩阵，确定第三滤波增益；
59、第三状态更新子单元，用于由状态滤波器通过第三滤波增益和第二位置观测残差对第二状态预测向量进行状态更新，且将状态更新后的第二状态预测向量作为第三时刻的第二状态更新向量。
60、其中，当光源观测信息为二维光源位置信息时，第二观测模型为二维观测模型；二维光源位置信息包括单光源器件在第三曝光子图像中的第一光源位置信息和单光源器件在第四曝光子图像中的第二光源位置信息中的任意一种；
61、光源更新单元包括：
62、第四矩阵确定子单元，用于通过二维观测模型获取相机位姿信息、与第二状态预测向量相关联的位姿状态信息、第四误差状态向量以及单光源器件在传感器坐标系中的器件位置信息，对相机位姿信息、位姿状态信息和器件位置信息进行重投影处理，得到重投影状态信息；传感器坐标系是指惯性传感器所在的坐标系；基于重投影状态信息和第四误差状态向量，确定二维观测矩阵；
63、第四残差确定子单元，用于根据二维光源位置信息和重投影状态信息，确定二维观测残差；
64、第四增益确定子单元，用于在获取到第二状态预测向量的第四状态协方差矩阵时，基于第四状态协方差矩阵和二维观测矩阵，确定第四滤波增益；
65、第四状态更新子单元，用于由状态滤波器通过第四滤波增益和二维观测残差对第二状态预测向量进行状态更新，且将状态更新后的第二状态预测向量作为第三时刻的第二状态更新向量。
66、本技术实施例一方面提供了一种计算机设备，包括：处理器和存储器；
67、处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本技术实施例提供的方法。
68、本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本技术实施例提供的方法。
69、本技术实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例提供的方法。
70、在本技术实施例可以中，可以获取与头戴设备相关联的指环通过惯性传感器发送的第一采集时间对对应的第一惯性测量数据，在获取到第一采集时间对中的第一时刻的第一历史状态预测向量时，可由状态滤波器通过第一惯性测量数据和第一历史状态预测向量进行状态预测，得到第一采集时间对中的第二时刻的第一状态预测向量；这里的第一时刻为第二时刻的上一时刻；指环上包含除惯性传感器之外的单光源器件；进一步地，在从头戴设备所采集到的曝光图像中获取到用于进行手势检测的第一曝光图像时，可基于佩戴指环的业务对象的手势关节点在第一曝光图像中的关节点位置信息，确定手势关节点在第二时刻的手势观测信息，由状态滤波器基于手势观测信息，对第一状态预测向量进行状态更新，且将状态更新后的第一状态预测向量作为第二时刻的第一状态更新向量；这里的第一状态更新向量用于在第二时刻和第三时刻所构成的第二采集时间对内，将第一历史状态预测向量更新为第二历史状态预测向量；第二采集时间对为第一采集时间对的下一采集时间对；进一步地，在获取到惯性传感器发送的第二采集时间对对应的第二惯性测量数据时，可由状态滤波器通过第二惯性测量数据和第二历史状态预测向量进行状态预测，得到第二采集时间对中的第三时刻的第二状态预测向量；这里的第二时刻为第三时刻的上一时刻；进而在从头戴设备所采集到的曝光图像中获取到用于进行光源检测的第二曝光图像时，可基于上述关节点位置信息，在第二曝光图像中确定单光源器件在第三时刻的光源观测信息，由状态滤波器基于光源观测信息，对第二状态预测向量进行状态更新，基于状态更新后的第二状态预测向量确定指环的位姿信息。由此可见，本技术实施例提供了一种多源信息融合的指环定位方法，通过状态滤波器融合指环上自带的惯性传感器(即imu)和单光源器件(即单个led)以及指环佩戴时的手势，可以实时估计出高精度的指环位置和姿态(即指环的位姿信息)。与融合手势和imu的指环定位方案相比，由于单光源器件能够精确定位指环的位置，因此在融合单光源器件后可以提升指环定位的精度。此外，与多led指环定位方案相比，本技术实施例只需观测到单个led即可进行多源信息融合，从而在指环定位更精确稳定的同时，减小指环的体积，进而提升指环交互的稳定性和轻便性。
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一曝光图像包括由所述头戴设备上的第一相机所采集到的第一曝光子图像和由所述头戴设备上的第二相机所采集到的第二曝光子图像；
3.根据权利要求2所述的方法，其特征在于，所述分别对所述第一曝光图像中的所述第一曝光子图像和所述第二曝光子图像进行手势检测，得到手势检测结果，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一相机参数、所述第二相机参数以及所述关节点位置信息，确定所述手势关节点在所述第二时刻的手势观测信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述第一相机参数包括所述第一相机在所述第二时刻的第一相机外参和第一相机内参；所述第一相机外参包括所述第一相机的第一相机位置信息和第一相机姿态信息；所述第一相机内参包括所述第一相机的第一相机焦距和第一相机光心；所述第二相机参数包括所述第二相机在所述第二时刻的第二相机外参和第二相机内参；所述第二相机外参包括所述第二相机的第二相机位置信息和第二相机姿态信息；所述第二相机内参包括所述第二相机的第二相机焦距和第二相机光心；
6.根据权利要求4所述的方法，其特征在于，所述手势关节点包括所述指环所在的佩戴位置对应的佩戴关节点、以及与所述佩戴关节点相关联的第一关节点和第二关节点；
7.根据权利要求2所述的方法，其特征在于，当所述手势观测信息中包含手势位置观测信息时，所述第一观测模型包括三维位置观测模型；
8.根据权利要求2所述的方法，其特征在于，当所述手势观测信息中包含手势姿态观测信息时，所述第一观测模型包括三维姿态观测模型；
9.根据权利要求1所述的方法，其特征在于，所述第二曝光图像包括由所述头戴设备上的第一相机所采集到的第三曝光子图像和由所述头戴设备上的第二相机所采集到的第四曝光子图像；所述关节点位置信息包括所述手势关节点在所述第一曝光图像包含的第一曝光子图像中的第一关节点位置信息、以及所述手势关节点在所述第一曝光图像包含的第二曝光子图像中的第二关节点位置信息；所述第一曝光子图像是由所述第一相机采集到的；所述第二曝光子图像是由所述第二相机采集到的；
10.根据权利要求9所述的方法，其特征在于，所述分别对所述第二曝光图像中的所述第三曝光子图像和所述第四曝光子图像进行光源检测，得到所述第三曝光子图像中的第一光斑和所述第四曝光子图像中的第二光斑，包括：
11.根据权利要求9所述的方法，其特征在于，所述手势关节点包括所述指环所在的佩戴位置对应的佩戴关节点；所述第一关节点位置信息包括所述佩戴关节点在所述第一曝光子图像中的二维关节点位置信息；所述第二关节点位置信息包括所述佩戴关节点在所述第二曝光子图像中的二维关节点位置信息；
12.根据权利要求11所述的方法，其特征在于，所述基于所述光源检测结果确定所述单光源器件在所述第三时刻的光源观测信息，包括：
13.根据权利要求9所述的方法，其特征在于，当所述光源观测信息为三维光源位置信息时，所述第二观测模型为三维位置观测模型；
14.根据权利要求9所述的方法，其特征在于，当所述光源观测信息为二维光源位置信息时，所述第二观测模型为二维观测模型；所述二维光源位置信息包括所述单光源器件在所述第三曝光子图像中的第一光源位置信息和所述单光源器件在所述第四曝光子图像中的第二光源位置信息中的任意一种；
15.一种数据处理装置，其特征在于，包括：
16.一种计算机设备，其特征在于，包括：处理器和存储器；
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行，以使具有所述处理器的计算机设备执行权利要求1-14任一项所述的方法。
18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，该计算机指令适于由处理器读取并执行，以使具有所述处理器的计算机设备执行权利要求1-14任一项所述的方法。
