本发明涉及智能制造,尤其涉及一种基于机器视觉的组合柜体分拣方法及相关装置。
背景技术:
1、组合柜体分拣线是组合柜智能化生产的重要部分,现有的组合柜体分拣线一般采用半自动化分拣的方式,因为组合柜体和大小的形状较为复杂,有较多的形状相近似或者大小相近似但不属于同一个分类的组合柜体,需要进行分拣,这时候才有现有的自动分拣技术,将会有较高的分拣错误率。
技术实现思路
1、本发明的目的在于克服现有技术的不足,本发明提供了一种基于机器视觉的组合柜体分拣方法及相关装置,实现对组合柜体生产线上的待分拣组合柜体的准确无误的自动化分拣控制,且提高分拣效率。
2、为了解决上述技术问题,本发明实施例提供了一种基于机器视觉的组合柜体分拣方法,应用于组合柜体分拣线,所述组合柜体分拣线设置在组合柜体生产线连接末端,所述组合柜体分拣线的输入端设置有图像采集设备,且在输出端设置有分拣机械手,所述方法包括:
3、组合柜体生产线将生产的待分拣组合柜体传输至所述组合柜体分拣线时,触发所述图像采集设备对所述待分拣组合柜体进行图像采集处理,获得待分拣组合柜体对应的图像序列,所述图像序列中至少包含三张图像数据;
4、基于待分拣组合柜体对应的图像序列对待分拣组合柜体进行三维建模处理,获得待分拣组合柜体对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息;
5、基于所述待分拣组合柜体对应的三维目标图像确认待分拣组合柜体在所述组合柜体分拣线上对应的目标分类;
6、根据所述待分拣组合柜体对应的目标分类及姿态信息生成所述分拣机械手的分拣抓取指令,并基于所述分拣抓取指令控制所述分拣机械手执行分拣抓取处理,所述分拣抓取指令包括抓取位置及抓取规划路径。
7、可选的,所述组合柜体生产线将生产的待分拣组合柜体传输至所述组合柜体分拣线时,触发所述图像采集设备对所述待分拣组合柜体进行图像采集处理,获得待分拣组合柜体对应的图像数据,包括:
8、在组合柜体生产线将生产的待分拣组合柜体传输至所述组合柜体分拣线时,所述组合柜体分拣线根据其上的传送带运输速度获得所述待分拣组合柜台到达所述图像采集设备进行图像采集区域的第一时间;
9、所述组合柜体分拣线根据所述第一时间生成所述图像采集设备的触发指令,并基于所述触发指令触发所述图像采集设备对所述待分拣组合柜体进行连续图像采集处理,获得待分拣组合柜体对应的图像序列。
10、可选的,所述基于待分拣组合柜体对应的图像序列对待分拣组合柜体进行三维建模处理,获得待分拣组合柜对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息,包括:
11、基于三步相移法利用所述待分拣组合柜体的图像序列进行相对相位计算处理,获得待分拣组合柜体在所述图像序列中的相对相位;
12、基于相位展开中的三频外差算法利用所述图像序列中的相对相位进行绝对相位计算处理,获得待分拣组合柜体在所述图像序列中的绝对相位图;
13、基于所述绝对相位图对待分拣组合柜体进行三维建模处理,获得待分拣组合柜体对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息。
14、可选的,所述基于所述绝对相位图对待分拣组合柜体进行三维建模处理,获得待分拣组合柜体对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息,包括:
15、基于所述绝对相位图计算出每一个有效相位像素对应的图像的同名点的坐标数据;
16、根据所述图像序列中每一张图像数据中的每一个像素点的像素坐标和所述同名点的坐标数据生成所述待分拣组合柜体的点云数据;
17、基于所述绝对相位图像和所述点云数据对所述待分拣组合柜体进行三维重建处理,获得待分拣组合柜体对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息。
18、可选的,所述基于所述绝对相位图像和所述点云数据对所述待分拣组合柜体进行三维重建处理,获得待分拣组合柜体对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息,包括:
19、根据所述绝对图像中的像素点的绝对相位对所述点云数据进行深度处理,获得三维点云数据;
20、基于高斯滤波算法对所述三维点云数据进行降噪处理,获得降噪后的三维点云数据;
21、对降噪后的三维点云数据中的邻域距离的平均值进行计算处理,获得邻域平均距离值,所述邻域平均距离值为降噪后的三维点云数据中的任意一个点数据与所有邻域点数据之间的平均距离值;
22、根据所述邻域平均距离值对降噪后的三维点云数据进行移除处理,获得移除后的三维点云数据;
23、基于移除后的三维点云数据对所述待分拣组合柜体进行三维重建处理,获得待分拣组合柜体对应的三维目标图像;
24、基于所述待分拣组合柜体对应的三维目标图像获得所述待分拣组合柜体在所述组合柜体分拣线上的姿态信息。
25、可选的,所述基于所述待分拣组合柜体对应的三维目标图像确认待分拣组合柜体在所述组合柜体分拣线上对应的目标分类,包括:
26、利用待分拣组合柜体对应的三维目标图像在数据库中进行匹配处理,并根据匹配结果获得待分拣组合柜体在所述组合柜体分拣线上对应的目标分类;其中所述数据库中存储有每一个目标分类在多个角度下对应的三维图像。
27、可选的,所述根据所述待分拣组合柜体对应的目标分类及姿态信息生成所述分拣机械手的分拣抓取指令,并基于所述分拣抓取指令控制所述分拣机械手执行分拣抓取处理,包括:
28、根据所述待分拣组合柜体对应的目标分类及姿态信息获得所述分拣机械手抓取所述待分拣组合柜体的抓取位置点;
29、根据所述组合柜体分拣线对应传送带传送速度获得所述待分拣组合柜体进入所述分拣机械手作业范围的时间值;
30、根据所述拣机械手抓取所述待分拣组合柜体的抓取位置点和所述待分拣组合柜体进入所述分拣机械手作业范围的时间值生成所述分拣机械手的分拣抓取指令;
31、基于所述分拣抓取指令中的时间值控制所述分拣机械手执行分拣抓取处理。
32、另外,本发明实施例还提供了一种基于机器视觉的组合柜体分拣装置,应用于组合柜体分拣线,所述组合柜体分拣线设置在组合柜体生产线连接末端,所述组合柜体分拣线的输入端设置有图像采集设备,且在输出端设置有分拣机械手,所述装置包括:
33、图像采集模块:用于组合柜体生产线将生产的待分拣组合柜体传输至所述组合柜体分拣线时,触发所述图像采集设备对所述待分拣组合柜体进行图像采集处理,获得待分拣组合柜体对应的图像序列,所述图像序列中至少包含三张图像数据;
34、三维建模模块:用于基于待分拣组合柜体对应的图像序列对待分拣组合柜体进行三维建模处理,获得待分拣组合柜体对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息;
35、目标分类模块:用于基于所述待分拣组合柜体对应的三维目标图像确认待分拣组合柜体在所述组合柜体分拣线上对应的目标分类;
36、控制执行模块:用于根据所述待分拣组合柜体对应的目标分类及姿态信息生成所述分拣机械手的分拣抓取指令,并基于所述分拣抓取指令控制所述分拣机械手执行分拣抓取处理,所述分拣抓取指令包括抓取位置及抓取规划路径。
37、另外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述中任意一项所述的组合柜体分拣方法。
38、另外,本发明实施例还提供了一种控制设备,所述控制设备包括:
39、一个或多个处理器;
40、存储器;
41、一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于:执行根据上述中任意一项所述的组合柜体分拣方法。
42、在本发明具体实施例中,通过对在组合柜体分拣线上的待分拣组合柜体进行图像采集,然后三维重建,从而识别到对应的目标分类和姿态信息;最后生成分拣控制指令控制对应的分拣机械手对待分拣组合柜体进行分拣抓取处理,从而实现对组合柜体生产线上的待分拣组合柜体的准确无误的自动化分拣控制,且提高分拣效率。
1.一种基于机器视觉的组合柜体分拣方法,其特征在于,应用于组合柜体分拣线,所述组合柜体分拣线设置在组合柜体生产线连接末端,所述组合柜体分拣线的输入端设置有图像采集设备,且在输出端设置有分拣机械手,所述方法包括:
2.根据权利要求1所述的组合柜体分拣方法,其特征在于,所述组合柜体生产线将生产的待分拣组合柜体传输至所述组合柜体分拣线时,触发所述图像采集设备对所述待分拣组合柜体进行图像采集处理,获得待分拣组合柜体对应的图像数据,包括:
3.根据权利要求1所述的组合柜体分拣方法,其特征在于,所述基于待分拣组合柜体对应的图像序列对待分拣组合柜体进行三维建模处理,获得待分拣组合柜对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息,包括:
4.根据权利要求3所述的组合柜体分拣方法,其特征在于,所述基于所述绝对相位图对待分拣组合柜体进行三维建模处理,获得待分拣组合柜体对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息,包括:
5.根据权利要求4所述的组合柜体分拣方法,其特征在于,所述基于所述绝对相位图像和所述点云数据对所述待分拣组合柜体进行三维重建处理,获得待分拣组合柜体对应的三维目标图像以及在所述组合柜体分拣线上的姿态信息,包括:
6.根据权利要求1所述的组合柜体分拣方法,其特征在于,所述基于所述待分拣组合柜体对应的三维目标图像确认待分拣组合柜体在所述组合柜体分拣线上对应的目标分类,包括:
7.根据权利要求1所述的组合柜体分拣方法,其特征在于,所述根据所述待分拣组合柜体对应的目标分类及姿态信息生成所述分拣机械手的分拣抓取指令,并基于所述分拣抓取指令控制所述分拣机械手执行分拣抓取处理,包括:
8.一种基于机器视觉的组合柜体分拣装置,其特征在于,应用于组合柜体分拣线,所述组合柜体分拣线设置在组合柜体生产线连接末端,所述组合柜体分拣线的输入端设置有图像采集设备,且在输出端设置有分拣机械手,所述装置包括:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任意一项所述的组合柜体分拣方法。
10.一种控制设备,其特征在于,所述控制设备包括:
