本申请涉及机器人控制,特别涉及基于机器学习的人形机器人视觉识别与动作控制方法。
背景技术:
1、人形机器人具有与人体相似的构造和运动行为,因此能够适应很多专门为人体设计的工具或作业环境,是目前替代人员作业的较为理想的机器人形式。
2、在矿场作业中,井下或露天矿场中存在大量影响移动或操作的障碍物,尤其是在行走过程中,路面存在大量的坑洼、积水等,这对机器人的移动带来了很大的困难,机器人需要准确的感知环境,尤其是地面的信息,才能做出准确的动作,以顺利且快速的完成移动动作。例如,cn117863190a就公开了足式机器人的移动控制方法及足式机器人,该专利摒弃了机器学习的方法,使机器人根据视觉图、触觉图和刚体图建立能够表征环境的融合图,进而对足部的动作进行控制。
3、上述专利虽然开发成本低且可移植性强,但是要求每个机器人都具有很强的实时计算能力,因此大批量应用这种机器人时成本并不低。
技术实现思路
1、本申请实施例提供了基于机器学习的人形机器人视觉识别与动作控制方法,用以解决现有技术中仅采用视觉识别的机器人对实时计算能力要求高的问题。
2、本申请实施例提供了基于机器学习的人形机器人视觉识别与动作控制方法,包括:
3、利用视觉采集单元获取环境数据,根据环境数据建立三维环境模型,三维环境模型中具有多个障碍物;
4、利用机器学习模型对障碍物的形态进行分析,确定障碍物的种类;
5、根据障碍物的种类选择相应的控制模式;
6、在选择的控制模式下,获取足部的实时高度数据;
7、将实时高度数据与和障碍物种类对应的标准高度数据进行比较,确定实时高度数据是否达到了标准高度数据,如果实时高度数据达到了标准高度数据,获取足部的接触数据;
8、根据接触数据确定足部是否接触地面,如果未接触地面,进入反馈调节模式,在反馈调节模式下,处在稳定状态的下肢降低高度,以降低人形机器人的重心高度,同时足部持续下降,在下降过程中持续获取足部数据,直到足部接触地面。
9、本申请中的基于机器学习的人形机器人视觉识别与动作控制方法,具有以下优点:
10、将机器学习和人形机器人的本地处理相结合,利用预先经过训练的机器学习模型对障碍物进行识别,以选择合适的控制模式,在控制模式执行过程中利用人形机器人的本地处理能力进行精细化的动作控制,对人形机器人的实时计算能力要求不高,减小了人形机器人大批量使用时的成本。
1.基于机器学习的人形机器人视觉识别与动作控制方法,其特征在于,包括:
2.根据权利要求1所述的基于机器学习的人形机器人视觉识别与动作控制方法,其特征在于,所述视觉采集单元为激光雷达,所述环境数据为表示人形机器人和环境点的距离的数据,建立所述三维环境模型时,建立机器人坐标系,在所述机器人坐标系中与所述环境数据对应的位置绘制所述环境点,形成所述三维环境模型。
3.根据权利要求1所述的基于机器学习的人形机器人视觉识别与动作控制方法,其特征在于,所述机器学习模型为卷积神经网络模型,所述机器学习模型预先利用训练数据进行了训练,所述机器学习模型提取所述障碍物的形状数据、大小数据和位置数据,将所述形状数据、所述大小数据和所述位置数据与已知的障碍物类别进行比对,将相似度最高的所述障碍物类别作为所述障碍物的种类。
4.根据权利要求3所述的基于机器学习的人形机器人视觉识别与动作控制方法,其特征在于,所述机器学习模型包含多个参数,所述参数利用联邦机器学习方法获得。
5.根据权利要求1所述的基于机器学习的人形机器人视觉识别与动作控制方法,其特征在于,所述控制模式包括避障模式和穿越模式,当所述障碍物以外存在可通行区域时,所述控制模式选择所述避障模式,当所述障碍物以外不存在所述可通行区域时,所述控制模式选择所述穿越模式,在所述穿越模式下再获取所述足部的所述实时高度数据。
6.根据权利要求1所述的基于机器学习的人形机器人视觉识别与动作控制方法,其特征在于,所述足部的所述实时高度数据根据人形机器人的下肢长度和各个关节的角度确定。
7.根据权利要求1所述的基于机器学习的人形机器人视觉识别与动作控制方法,其特征在于,所述足部设置有多个压力传感器,所述接触数据为所述压力传感器采集的压力数据。
8.根据权利要求1所述的基于机器学习的人形机器人视觉识别与动作控制方法,其特征在于,在选择所述控制模式后,还将所述控制模式发送至一定范围内的其他人形机器人,其他的人形机器人根据当前位置确定是否执行所述控制模式。