本公开涉及机器人操作,更具体地,涉及对人的运动识别处理。
背景技术:
1、一般来说,机器人是为工业用途开发的,并在工厂自动化中发挥着更大的作用。近来,越来越多的行业采用机器人,如医疗机器人、航空航天机器人等,也生产了设计用于普通居民家庭使用的家用机器人。
2、另一方面,人们也在积极开展机器人主动服务的研究,以将机器人引入人类难以进行工作的环境(如生产环境)以代替人。为此,人们越来越关注人的运动识别,使得机器人的动作或运动适当地跟随人的动作或运动,并将运动识别信息相互应用于机器人控制。
3、识别人的运动的传统方法使用人被拍摄的整个图像。这种方式可以处理人的运动识别细节。但是,由于需要处理的信息量往往很大,因此对计算资源和处理时间的需求也会增加。
技术实现思路
1、本公开旨在解决现有技术中出现的上述问题,同时保持现有技术所取得的优点不变。
2、根据本公开,提供一种基于关节位置信息和关节预测值协助生成与更高效的运动识别相关联的虚拟关节图像并据此处理运动识别结果以可适用于机器人的用于支持机器人的运动识别的方法、支持机器人的运动识别的计算装置以及支持机器人的运动识别的系统。
3、此处,本公开所要解决的技术问题并不局限于上述问题,本公开所属领域的技术人员通过以下描述将清楚地理解任何其它未提及的技术问题。
4、根据本公开的一个或多个示例实施例,一种计算装置可以包括:存储器,被配置为存储将人作为对象拍摄的由多个帧组成的图像;以及处理器,与存储器可操作地连接。处理器可以被配置为:确定对应于图像的多个关节;确定关节数据,关节数据包括:关节预测值,用于预测多个关节是否对应于人的多个已知关节中的任一个,以及关节位置值,与多个关节的位置相对应;基于关节数据生成虚拟关节图像,虚拟关节图像包括对应于关节位置值的坐标值;以及将生成的虚拟关节图像存储在存储器中。在虚拟关节图像中坐标值可以被划分为多个通道。
5、存储器可以存储被提供以确定对应于图像的多个关节的关节生成学习模型。处理器可以进一步被配置为:将关节生成学习模型应用于图像,以基于多个帧确定多个关节;以及基于多个关节确定关节数据。
6、处理器可以进一步被配置为:基于多个关节,确定多个帧中的每一个中的多个关节的多个轴坐标值和对应于多个轴坐标值的关节预测值。
7、处理器可以进一步被配置为:基于多个帧,获得多个轴坐标值和关节预测值;累积获得的坐标值和关节预测值,以生成代表值;以及基于代表值生成虚拟关节图像。
8、处理器可以被配置为通过以下步骤生成虚拟关节图像:基于人的每个身体部位的位置,划分关节位置值和关节预测值;以及在数据布置图上的不同位置处布置划分的关节位置值和关节预测值。
9、处理器可以被配置为通过以下步骤生成虚拟关节图像:将关节位置值和关节预测值划分为以下项的至少一项:人的上半身部分和下半身部分,或者相对于人的中心线的人的左半身部分和右半身部分。
10、处理器可以进一步被配置为:基于虚拟关节图像,识别图像上人的运动;将识别运动的结果与图像进行映射;以及将映射的结果存储在存储器中。
11、计算装置可以进一步包括以下装置中的至少一个:通信接口,被配置为从外部电子装置接收图像;摄像装置,被配置为拍摄作为对象的人的图像;或者显示器,被配置为输出虚拟关节图像。
12、根据一个或多个示例实施例,一种支持机器人运动识别的方法可以包括:通过计算装置的处理器,获得将人作为对象拍摄的包括多个帧的图像;通过处理器,确定对应于图像的多个关节;通过处理器,确定关节数据,关节数据包括:关节预测值,用于预测多个关节是否对应于人的多个已知关节中的任一个,以及关节位置值,与多个关节的位置相对应;通过处理器并基于关节数据生成虚拟关节图像,虚拟关节图像包括对应于关节位置值的坐标值;以及通过处理器,将生成的虚拟关节图像存储在计算装置的存储器中。在虚拟关节图像中坐标值可以被划分为多个通道。
13、确定多个关节可以包括:将先前存储在存储器中的关节生成学习模型应用于图像,以基于多个帧确定多个关节。
14、确定关节数据可以包括:通过处理器并基于多个关节,确定多个帧中的每一个中的多个关节的多个轴坐标值和对应于多个轴坐标值的关节预测值。
15、生成虚拟关节图像可以包括:通过处理器并基于多个帧,获得多个轴坐标值和关节预测值;通过处理器,累积获得的坐标值和关节预测值,以生成代表值;以及基于代表值生成虚拟关节图像。
16、生成虚拟关节图像可以进一步包括:通过处理器,基于人的每个身体部位的位置,划分关节位置值和关节预测值;以及通过处理器,在数据布置图上的不同位置处布置划分的关节位置值和关节预测值。
17、生成虚拟关节图像可以包括:通过处理器,将关节位置值和关节预测值划分为以下项的至少一项:人的上半身部分和下半身部分别,或者相对于人的中心线的人的左半身部分和右半身部分。
18、该方法可以进一步包括:通过处理器,基于虚拟关节图像,识别图像上人的运动;将识别运动的结果与图像进行映射;以及将映射的结果存储在存储器中。
19、根据本公开的一个或多个示例实施例,一种支持机器人运动识别的系统可以包括:机器人;输入数据提供装置,被配置为提供将人作为对象拍摄的包括多个帧的图像;以及计算装置。机器人可以被配置为从计算装置接收确定运动的结果。计算装置可以包括:通信接口,被配置为接收图像;存储器,被配置为存储图像;以及处理器,与通信接口和存储器可操作地连接。处理器可以被配置为:将先前存储在存储器中的关节生成学习模型应用于图像,以确定人的多个关节;确定关节数据,关节数据包括:关节预测值,用于预测多个关节是否对应于人的多个已知关节中的任一个,以及关节位置值,与多个关节的位置相对应;基于关节数据生成虚拟关节图像,虚拟关节图像包括对应于关节位置值的坐标值;基于生成的虚拟关节图像,识别图像上人的运动;以及向机器人提供识别运动的结果。坐标值在虚拟关节图像中可以被划分为多个通道。
20、此外,该系统可以包括在上述计算装置中包括的计算存储介质或包括被配置为执行上述方法以支持机器人的运动识别的至少一条指令的计算存储介质。
21、本公开的至少一部分可以是用于生成用于运动识别的虚拟关节图像的方法,该方法可以包括利用关节的预测值的方法、根据含义布置关节的方法、根据身体部位的位置(上半身、下半身、左侧或右侧)布置关节的方法或将对应于所有帧的关节生成为一个图像的方法中的至少一些方法。因此,本公开可以理解为整合了下文所述所有附图的概念。此外,各附图中描述的一些实施例可以理解为包括例如生成虚拟关节图像的方法的本公开。因此,可以将本说明书描述和理解为包括与用于支持机器人运动识别方法和系统的生成、存储和提供虚拟关节图像相对应的本公开。
1.一种计算装置,包括:
2.根据权利要求1所述的计算装置,其中,所述存储器存储被提供以确定对应于所述图像的所述多个关节的关节生成学习模型,并且
3.根据权利要求2所述的计算装置,其中,所述处理器进一步被配置为:
4.根据权利要求3所述的计算装置,其中,所述处理器进一步被配置为:
5.根据权利要求1所述的计算装置,其中,所述处理器被配置为通过以下步骤生成所述虚拟关节图像:
6.根据权利要求1所述的计算装置,其中,所述处理器被配置为通过以下步骤生成所述虚拟关节图像:
7.根据权利要求1所述的计算装置,其中,所述处理器进一步被配置为:
8.根据权利要求1所述的计算装置,进一步包括以下中的至少一个:
9.一种支持机器人运动识别的方法,包括:
10.根据权利要求9所述的方法,其中,确定所述多个关节包括:
11.根据权利要求10所述的方法,其中,确定所述关节数据包括:
12.根据权利要求11所述的方法,其中,生成所述虚拟关节图像包括:
13.根据权利要求12所述的方法,其中,生成所述虚拟关节图像进一步包括:
14.根据权利要求9所述的方法,其中,生成所述虚拟关节图像包括:
15.根据权利要求9所述的方法,进一步包括:
16.一种支持机器人运动识别的系统,包括:
