本技术涉及机器人,尤其涉及一种机器人控制方法、装置、电子设备及存储介质。
背景技术:
1、随着人工智能的发展,人形机器人也迎来了发展的黄金时期,越来越多的企业推出应用于多种场景下的抓取机器人,通过机器人的自主导航功能,在实际应用中能够避障,同时也能对场景中的物体进行抓取。
2、但是,在实际应用中需要机器人抓取的物体种类较多,在抓取时机器人需要通过触觉感知,才能知道物体需要用多大的力进行抓取。然而,给每个机器人都安装触觉传感器会增加很大的控制成本。并且,机器人的安装有触觉传感器的手需要触碰到物体才会有受力反馈,如果在感知到物体后再分析受力反馈,会存在一定的反馈时间延迟。
技术实现思路
1、本技术实施例提供一种机器人控制方法、装置、电子设备及存储介质,能够在机器人未安装触觉传感器的情况下,快速确定用于控制机器人对待抓取对象执行抓取操作的触觉信息,从而有效解决机器人的控制成本问题。
2、本技术实施例的技术方案是这样实现的:
3、本技术实施例提供一种机器人控制方法,所述方法包括:获取待抓取对象的视觉图像;对所述视觉图像进行图像映射,得到所述待抓取对象的触觉图像;所述触觉图像是用于模拟机器人在抓取所述待抓取对象时触觉传感器发生形变的图像;对所述触觉图像进行图像特征提取,得到所述机器人在抓取所述待抓取对象时触觉传感器的模拟形变信息;对所述模拟形变信息进行受力转换,得到用于表征所述待抓取对象的表面的受力程度的触觉信息;基于所述触觉信息控制所述机器人对所述待抓取对象执行抓取操作。
4、本技术实施例提供一种机器人控制装置,包括:获取模块,用于获取待抓取对象的视觉图像;图像映射模块,用于对所述视觉图像进行图像映射,得到所述待抓取对象的触觉图像;所述触觉图像是用于模拟机器人在抓取所述待抓取对象时触觉传感器发生形变的图像;图像特征提取模块,用于对所述触觉图像进行图像特征提取,得到所述机器人在抓取所述待抓取对象时触觉传感器的模拟形变信息;受力转换模块,用于对所述模拟形变信息进行受力转换,得到用于表征所述待抓取对象的表面的受力程度的触觉信息;控制模块,用于基于所述触觉信息控制所述机器人对所述待抓取对象执行抓取操作。
5、在上述方案中,所述图像映射模块还用于:对所述视觉图像分别进行不同分辨率下的特征提取,对应得到多个分辨率下的图像特征向量;对所述多个分辨率下的图像特征向量进行特征融合,得到图像融合特征;对所述图像融合特征进行特征映射,得到所述待抓取对象的触觉图像。
6、在上述方案中,所述控制模块还用于:获取所述机器人在当前时刻下的当前抓取力;基于所述触觉信息,对所述待抓取对象的表面进行受力区域划分,得到具有不同受力程度的多个受力区域;确定每一所述受力区域对应的区域抓取力;基于所述当前抓取力和所述区域抓取力,控制所述机器人对所述待抓取对象执行抓取操作。
7、在上述方案中,所述控制模块还用于:将所述当前抓取力与所述每一受力区域的区域抓取力进行力度比较,得到比较结果;基于所述比较结果,确定所述机器人的目标抓取力和所述待抓取对象的表面的目标受力区域;基于所述目标抓取力和所述目标受力区域,控制所述机器人对所述待抓取对象执行抓取操作。
8、在上述方案中,所述控制模块还用于:当基于所述比较结果确定所述机器人无需改变所述当前抓取力时,将所述当前抓取力确定为所述目标抓取力,并将所述多个受力区域中与所述目标抓取力对应的受力区域确定为所述目标受力区域;当基于所述比较结果确定所述机器人需要改变所述当前抓取力时,确定每一区域抓取力与所述当前抓取力之间的力度差距;将最小力度差距对应的区域抓取力确定为所述目标抓取力,并将所述多个受力区域中与所述目标抓取力对应的受力区域确定为所述目标受力区域。
9、在上述方案中,所述获取模块还用于:获取目标区域内的全局视觉图像;对所述全局视觉图像进行图像检测,得到图像检测结果;其中,所述图像检测结果是通过预先训练的图像检测模型进行图像检测得到的;所述图像检测模型通过以下步骤进行训练:获取第一样本数据;所述第一样本数据包括样本全局视觉图像和所述样本全局视觉图像的样本图像标签;将所述样本全局视觉图像输入至待训练的图像检测模型中;通过所述待训练的图像检测模型,对所述样本全局视觉图像进行图像检测,得到所述样本全局视觉图像中样本待抓取对象的预测位置和预测类别;基于所述预测位置、所述预测类别和所述样本图像标签进行损失计算,得到第一损失结果;基于所述第一损失结果对所述图像检测模型中的模型参数进行更新,得到训练后的图像检测模型;在基于所述图像检测结果确定所述全局视觉图像中包含待抓取对象的情况下,获取所述图像检测结果中所述待抓取对象在图像坐标系下的图像位置信息;基于所述图像位置信息,从所述全局视觉图像中提取所述待抓取对象的视觉图像。
10、在上述方案中,所述控制模块还用于:将所述图像坐标系下的图像位置信息映射至世界坐标系中,得到所述待抓取对象的真实位置信息;基于所述触觉信息、所述真实位置信息和所述机器人当前所处位置在所述世界坐标系中的位置坐标,控制所述机器人对所述待抓取对象执行抓取操作。
11、在上述方案中,所述触觉图像是通过预先训练的触觉图像预测模型进行图像映射得到的;所述装置还包括预测模型训练模块,所述预测模型训练模块用于:获取第二样本数据;所述第二样本数据包括样本视觉图像和样本触觉图像;所述样本视觉图像中包括样本待抓取对象,所述样本触觉图像是训练所述触觉图像预测模型时的监督信息;将所述样本视觉图像输入至待训练的触觉图像预测模型中;通过所述待训练的触觉图像预测模型,对所述样本视觉图像进行图像映射,得到所述样本待抓取对象的样本预测图像;基于所述样本预测图像和所述样本触觉图像进行损失计算,得到第二损失结果;基于所述第二损失结果对所述触觉图像预测模型中的模型参数进行更新,得到训练后的触觉图像预测模型。
12、在上述方案中,所述预测模型训练模块还用于:通过所述图像特征提取网络,对所述样本视觉图像进行不同分辨率下的特征提取,对应得到多个分辨率下的样本特征向量;通过所述图像特征融合网络,对所述多个分辨率下的样本特征向量进行特征融合,得到样本融合特征;通过所述图像特征处理网络,对所述样本融合特征进行特征映射,得到所述样本待抓取对象的样本预测图像。
13、本技术实施例提供一种电子设备,包括:存储器,用于存储计算机可执行指令;处理器,用于执行所述存储器中存储的计算机可执行指令时,实现本技术实施例提供的机器人控制方法。
14、本技术实施例提供一种计算机可读存储介质,存储有计算机可执行指令,用于被处理器执行时实现本技术实施例提供的机器人控制方法。
15、本技术实施例提供一种计算机程序产品,该计算机程序产品包括计算机可执行指令,计算机可执行指令存储在计算机可读存储介质中;其中,电子设备的处理器从计算机可读存储介质中读取计算机可执行指令,并执行计算机可执行指令时,实现本技术实施例提供的机器人控制方法。
16、本技术实施例具有以下有益效果:
17、在机器人进行抓取任务时,首先,获取待抓取对象的视觉图像,对待抓取对象的视觉图像进行图像映射,得到待抓取对象的触觉图像;然后,对触觉图像进行图像特征提取,得到机器人在抓取待抓取对象时触觉传感器的模拟形变信息;对模拟形变信息进行受力转换,得到用于表征待抓取对象的表面的受力程度的触觉信息;最后,基于待抓取对象的触觉信息控制机器人对待抓取对象执行抓取操作。如此,由于触觉图像是用于模拟机器人在抓取待抓取对象时触觉传感器发生形变的图像,且通过对待抓取对象的视觉图像进行图像映射即可得到触觉图像,而无需通过给每个机器人安装触觉传感器采集得到触觉图像,因此,极大地降低了机器人的控制成本。此外,用于控制机器人执行抓取操作的待抓取对象的触觉信息,可直接基于触觉图像通过图像特征提取和受力转换过程得到,无需在机器人触碰到待抓取对象才能分析得到,能够有效解决抓取任务中的时间延迟问题,从而提升了对机器人的控制效率。
1.一种机器人控制方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述视觉图像进行图像映射,得到所述待抓取对象的触觉图像,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于所述触觉信息控制所述机器人对所述待抓取对象执行抓取操作,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述当前抓取力和所述区域抓取力,控制所述机器人对所述待抓取对象执行抓取操作,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述比较结果,确定所述机器人的目标抓取力和所述待抓取对象的表面的目标受力区域,包括:
6.根据权利要求1所述的方法,其特征在于,所述获取待抓取对象的视觉图像,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述触觉信息控制所述机器人对所述待抓取对象执行抓取操作,包括:
8.根据权利要求1至6任一项所述的方法,其特征在于,所述触觉图像是通过预先训练的触觉图像预测模型进行图像映射得到的;所述触觉图像预测模型通过以下步骤进行训练:
9.根据权利要求8所述的方法,其特征在于,所述触觉图像预测模型包括图像特征提取网络、图像特征融合网络和图像特征处理网络;所述通过所述触觉图像预测模型,对所述样本视觉图像进行图像映射,得到所述样本待抓取对象的样本预测图像,包括:
10.一种机器人控制装置,其特征在于,包括:
11.一种电子设备,其特征在于,包括:
12.一种计算机可读存储介质,其特征在于,存储有计算机可执行指令,所述计算机可执行指令被处理器执行时,实现权利要求1至9任一项所述的机器人控制方法。
