本申请涉及人工智能技术,具体涉及一种对象姿态关键点的处理方法、系统、设备及存储介质。
背景技术:
1、相关技术中,姿态识别方法由于追求精准度,所以模型设计通常非常大,难以应用于处理能力和存储资源有限的端侧场景;能够应用于端侧场景的姿态识别方法,由于追求更少的计算量和更快的运行速度,所以其精准度较低,容易出现关键点检测缺失的情况,其中,关键点检测缺失表征该关键点的位置坐标缺失。而针对该问题,目前尚无有效解决方案。
技术实现思路
1、有鉴于此,本申请实施例提供了一种对象姿态关键点的处理方法、系统、设备及存储介质,旨在有效满足姿态识别的精准度,以及提高姿态识别的运算速度。
2、本申请实施例的技术方案是这样实现的:
3、本申请实施例提供一种对象姿态关键点的处理方法,应用于存算一体芯片,所述方法包括:
4、获取视频流数据中图像数据的k帧关键点数据;每帧所述关键点数据包括对象姿态的n个关键点,其中,k为大于1的自然数,n为大于1的自然数;
5、在所述k帧关键点数据的第k帧关键点数据中确定第一关键点;所述第一关键点表征变化程度稳定且位置坐标缺失的关键点;
6、基于所述k帧关键点数据中关键点的位置坐标对所述第一关键点的位置坐标进行补偿,得到所述第一关键点的补偿结果;所述补偿结果为所述第一关键点的补偿后的坐标。
7、在上述方案中,所述方法还包括:
8、补偿结果对所述第k帧关键点数据中第一关键点的位置坐标进行更新;
9、基于所述第k帧关键点数据对所述k帧关键点数据进行更新;
10、基于所述k帧关键点数据中的关键点的位置坐标对所述第k帧关键点数据中的关键点的位置坐标进行校准,得到所述图像数据的校准结果;其中,所述校准结果为n个所述关键点的校准后的坐标。
11、在上述方案中,所述方法还包括:
12、若确定所述第k帧关键点数据中不存在所述第一关键点,则根据所述k帧关键点数据中关键点的位置坐标对所述第k帧关键点数据中的关键点的位置坐标进行校准,得到所述图像数据的校准结果。
13、在上述方案中,所述在所述k帧关键点数据的第k帧关键点数据中确定第一关键点,包括:
14、若确定所述第k帧关键点数据中第二关键点位置坐标的数字类型为非数nan(nota number,nan),则确定所述第二关键点为位置坐标缺失的关键点;所述第二关键点为所述第k帧关键点数据中任一关键点;所述非数表示未定义或不可表示的值;
15、若确定所述k帧关键点数据中的第k-1帧关键点数据中第三关键点处于稳定状态,则确定所述第二关键点为变化程度稳定的关键点;所述第二关键点和所述第三关键点为相邻帧中同一位置的关键点;
16、将所述第二关键点确定为所述第一关键点。
17、在上述方案中,所述方法还包括:
18、基于所述k帧关键点数据中的前k-1帧关键点数据中关键点的位置坐标,确定所述第三关键点的平均变化参数;
19、若确定所述平均变化参数小于变化阈值,则确定所述第三关键点处于稳定状态。
20、在上述方案中,针对所述k帧关键点数据中的任一关键点,所述存算一体芯片至少存储有所述关键点的第一权重值和第二权重值;所述第一权重值表征所述关键点对所述第一关键点进行补偿的重要程度;所述第二权重值表征所述关键点对所述第k帧关键点数据进行校准的重要程度。
21、在上述方案中,所述基于所述k帧关键点数据中的前k-1帧关键点数据,确定所述第三关键点的平均变化参数,包括:
22、基于所述前k-1帧关键点数据,确定所述第三关键点的第一变化参数和第二变化参数;其中,所述第一变化参数表征所述第三关键点在第一坐标轴上的变化参数,所述第二变化参数表征所述第三关键点在第二坐标轴上的变化参数;
23、所述确定所述平均变化参数小于变化阈值,包括:
24、确定所述第一变化参数和所述第二变化参数均小于所述变化阈值。
25、在上述方案中,所述方法还包括:
26、将所述存算一体芯片的存算一体阵列进行划分,分别得到列数为n的第一阵列、第二阵列和第三阵列;n为大于1的自然数;所述第二阵列用于确定所述第二关键点的数字类型是否为非数类型;所述第一阵列用于确定所述第三关键点是否处于稳定状态;所述第三阵列用于基于所述k帧关键点数据对所述第一关键点进行补偿。
27、本申请实施例提供一种对象姿态关键点的处理系统,所述系统包括:处理模块、存算一体芯片和显示模块;其中,
28、所述处理模块,用于将视频流数据发送至所述存算一体芯片;接收所述存算一体芯片发送的所述视频流数据中图像数据的补偿结果;将所述图像数据和所述补偿结果进行整合,得到所述对象姿态的识别图像;将所述识别图像发送至所述显示模块;
29、所述存算一体芯片,用于获取视频流数据中图像数据的k帧关键点数据;每帧所述关键点数据包括对象姿态处理的n个关键点,其中,k为大于1的自然数,n为大于1的自然数;在所述k帧关键点数据的第k帧关键点数据中确定第一关键点;所述第一关键点表征变化程度稳定且位置坐标缺失的关键点;基于所述k帧关键点数据中关键点的位置坐标对所述第一关键点的位置坐标进行补偿,得到所述第一关键点的补偿结果;所述补偿结果为所述第一关键点的补偿后的坐标;
30、所述显示模块,用于接收所述识别图像,对所述识别图像进行显示。
31、本申请实施例提供一种对象姿态的处理设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,
32、所述处理器,用于运行计算机程序时,执行所述对象姿态的处理方法的步骤。
33、本申请实施例提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现所述对象姿态的处理方法的步骤。
34、本申请实施例提供一种对象姿态的处理方法、系统、设备及存储介质,所述方法包括:应用于存算一体芯片,所述方法包括:获取视频流数据中图像数据的k帧关键点数据;每帧所述关键点数据包括对象姿态的n个关键点,其中,k为大于1的自然数,n为大于1的自然数;在所述k帧关键点数据的第k帧关键点数据中确定第一关键点;所述第一关键点表征变化程度稳定且位置坐标缺失的关键点;基于所述k帧关键点数据中关键点的位置坐标对所述第一关键点的位置坐标进行补偿,得到所述第一关键点的补偿结果;所述补偿结果为所述第一关键点的补偿后的坐标。采用本申请实施例的技术方案,在存算一体芯片上进行计算量较大的关键点补偿运算,不仅满足了姿态识别的精准度,还提高了姿态识别的运算速度。
1.一种对象姿态关键点的处理方法,其特征在于,应用于存算一体芯片,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述在所述k帧关键点数据的第k帧关键点数据中确定第一关键点,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求3所述的方法,其特征在于,针对所述k帧关键点数据中的任一关键点,所述存算一体芯片至少存储有所述关键点的第一权重值和第二权重值;所述第一权重值表征所述关键点对所述第一关键点进行补偿的重要程度;所述第二权重值表征所述关键点对所述第k帧关键点数据进行校准的重要程度。
7.根据权利要求5所述的方法,其特征在于,所述基于所述k帧关键点数据中的前k-1帧关键点数据中关键点的位置坐标,确定所述第三关键点的平均变化参数,包括:
8.根据权利要求4所述的方法,其特征在于,所述方法还包括:
9.一种对象姿态关键点的处理系统,所述系统包括:处理模块、存算一体芯片和显示模块;其中,
10.一种对象姿态的处理设备,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,
11.一种存储介质,所述存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至8任一项所述方法的步骤。