本公开总体上涉及部件组件的机器人安装,并且更具体地但不排他地涉及最终装饰和组装机器人操作。
背景技术:
1、在汽车组装的最终装饰和组装(fta)阶段期间可以执行各种操作,包括例如门组装,驾驶舱组装和座椅组装,以及其它类型的组装。然而,由于各种原因,通常只有相对少量的fta任务是自动的。例如,通常在fta阶段期间,当操作者执行fta操作时,经历fta的车辆在以相对连续的方式移动车辆的线路上运输。然而,车辆的这种连续运动可导致或产生至少关于车辆的运动和/或位置和/或车辆的在fta中涉及的部分的某些不规则性。此外,这种运动可导致车辆在fta期间经受运动不规则性、振动和平衡问题,这可防止或不利于精确跟踪直接包含在fta中的车辆的特定组件、部分或区域的能力。传统上,基于三维模型的计算机视觉匹配算法需要对初始值进行细微的调整,并且由于诸如改变照明条件、组件颜色变化和上述其它干扰之类的挑战而频繁地失去跟踪。因此,这种关于可重复性的变化和关注常常会妨碍在fta操作中使用机器人运动控制。
2、因此,尽管目前市场上可以获得各种机器人控制系统,但是进一步的改进可以提供一种系统和装置来校准和调整机器人控制系统以适应这种运动不规则性。
技术实现思路
1、本公开的一个实施例是用于神经网络训练的独特标记系统。其它实施例包括用于使用训练的神经网络在最终装饰和组装操作期间稳健地跟踪对象的装置、系统、设备、硬件、方法和组合。本申请的其它实施例、形式、特征、方面、益处和优点将从本文提供的描述和附图中变得显而易见。
1.一种装置,包括:
2.根据权利要求1所述的装置,其中所述视觉系统相机是被构造成捕获所述车辆主要部件的二维图像的二维(2-d)相机。
3.根据权利要求1所述的装置,其中所述基于计算机的模型是所述车辆主要部件的计算机辅助设计(cad)模型。
4.根据权利要求1所述的装置,其中所述无监督自动标记系统被构造成循环通过所述车辆主要部件的多个图像,以产生与所述多个图像中的相应图像相对应的所述车辆主要部件的多个姿态,所述无监督自动标记系统还被构造成确定所述多个姿态的统计评估,并基于阈值去除异常值。
5.根据权利要求4所述的装置,其中所述指令电路还被构造成仅在所述车辆主要部件的图像与所述车辆主要部件的所述基于计算机的模型之间的比较结果满足预定义质量阈值时,用姿态来标记所述图像。
6.根据权利要求1所述的装置,其中所述图像是机器人操作开始时的初始图像,所述姿态是所述机器人操作开始时的初始姿态,其中所述无监督自动标记系统被构造成记录对应于所述初始姿态的机器人初始位置,并且其中所述无监督自动标记系统被构造成基于所述机器人相对于所述机器人初始位置的运动以及所述初始姿态,来估计所述车辆主要部件在所述初始姿态之后的后续姿态。
7.根据权利要求6所述的装置,其中所述初始姿态和所述后续姿态形成一组车辆主要部件姿态,并且其中所述无监督自动标记系统还被构造成确定所述一组车辆主要部件姿态的统计评估并基于阈值去除所述一组车辆主要部件姿态的异常值。
8.根据权利要求1所述的装置,其中所述图像是机器人操作开始时的初始图像,所述姿态是所述机器人操作开始时的初始姿态,其中所述无监督自动标记系统还被构造成:
9.根据权利要求8所述的装置,其中利用所述无监督自动标记系统来标记多个图像,其中对所述多个图像中除所述初始图像之外的一组图像进行评估,以确定所述一组图像中的每个图像的姿态,所述无监督自动标记系统使用与所述一组图像中的每个图像相关联的所述人工标记物的姿态估计以及用于确定的所述车辆主要部件与所述人工标记物之间的相对姿态,来确定所述一组图像中的每个图像的姿态。
10.根据权利要求9所述的装置,其中所述初始姿态和所述一组图像中的每个图像的姿态形成一组车辆主要部件姿态,并且其中所述无监督自动标记系统还被构造成确定所述一组车辆主要部件姿态的统计评估并基于阈值去除所述一组车辆主要部件姿态的异常值。
11.一种装置,包括:
12.根据权利要求11所述的装置,其中所述基于计算机的模型是计算机辅助设计(cad)模型。
13.根据权利要求11所述的装置,其中所述神经网络模型是多层人工神经网络。
14.根据权利要求11所述的装置,其中所述机器人姿态估计系统还包括指令以:将所述初始姿态估计与所述神经网络姿态估计进行比较。
15.根据权利要求14所述的装置,其中所述机器人姿态估计系统还包括指令以:基于根据所述基于特征的对象跟踪的所述初始姿态估计与所述神经网络姿态估计之间的比较结果,来初始化姿态估计,所述机器人姿态估计系统还包括指令以:
16.根据权利要求15所述的装置,其中在所述跟踪恢复模式中,神经网络姿态估计从所述跟踪恢复模式图像获得,并与来自所述跟踪恢复模式图像的基于特征的姿态估计进行比较。
17.根据权利要求15所述的装置,其中所述机器人姿态估计系统被构造成:当所述初始姿态估计与所述神经网络姿态估计的比较结果满足初始化阈值时,初始化姿态估计。
18.根据权利要求15所述的装置,其中所述机器人姿态估计系统被构造成:当在运行时期间所述基于特征的对象跟踪未能满足跟踪阈值时,采用跟踪恢复模式。