本技术涉及机器视觉,尤其是涉及一种手眼标定方法、装置、设备及存储介质。
背景技术:
1、手眼标定是实现传感器端的信息到执行端的信息转换的关键环节,针对不同形式的执行机构和不同类型的视觉传感器,研究并设计操作便捷、精度适配和适用现场的手眼标定方法对机器视觉的实际应用具有重要意义。
2、在水泥、农业和化工等行业中都有对原材料或制成品的装车需求,这些行业的装车工况有室内、半露天和露天三种情形;现场环境也存在尘土、水雾和强光等多因素干扰,这对借助于传感器实现自动化装车方面提出了较高的品控要求。从控制成本方面考虑,装车手眼标定环节常利用2d相机,辅助标志点进行标定作业,然而,采用该方案时,每一次装载均需要进行标定操作从而获取出装车所需要的如起点、长和宽等信息,整体操作需要操作员在作业区来回协调,从而导致整体存在一定的安全性且耗时。
技术实现思路
1、为了有助于解决2d相机标定作业操作需要操作员在作业区来回协调,从而导致整体存在一定的安全性且耗时的问题,本技术提供一种手眼标定方法、装置、设备及存储介质。
2、第一方面,本技术提供一种手眼标定方法,采用如下技术方案:所述方法应用于手眼标定系统,所述手眼标定系统包括桁架式装车机、相机和若干标定板,所述标定板包括对角标志点,所述方法包括:
3、在若干所述标定板安装完成且所述桁架式装车机位置调整完成时,获取所述桁架式装车机采集的若干所述对角标志点的点位信息,并将所述点位信息设定为对角标志点世界坐标;
4、在所述桁架式装车机的装车料斗移走时,获取所述相机采集的全场景点云数据;
5、在所述全场景点云数据中,对若干所述标定板的所述对角标志点进行凸显映射,并得到对角标志点相机坐标;
6、根据所述对角标志点世界坐标和所述对角标志点相机坐标,计算得到手眼转换矩阵。
7、通过上述技术方案,通过对采集的相机坐标系下和世界坐标系下的角标志点对数据,对数据进行手眼模型构建,以求解手眼转换矩阵,整个标定流程简洁,操作简单,标定过程求解稳定,只需完成一次标定后续便可重复使用,操作员不需要在作业区来回协调,从而可以提高作业的安全性,节省作业时间,提高作业效率。
8、在一个具体的可实施方案中,所述全场景点云数据包括坐标分量、颜色分量和强度值,所述对若干所述标定板的所述对角标志点进行凸显映射,并得到对角标志点相机坐标包括:
9、通过有向包围盒裁剪提取所述全场景点云数据中的所述标定板区域的数据;
10、对单个所述标定板的点云数据的所述颜色分量进行凸显映射,并得到不同颜色分量值;
11、根据所述不同颜色分量值识别若干所述标定板的对角标志点,获取若干所述标定板的对角标志点的坐标,并生成所述对角标志点相机坐标。
12、通过上述技术方案,相机获取的全场景点云数据,在不进行凸显映射的情况下,点云数据的颜色分量差异性小,难以从众多点云数据中获取需要的标定板对角标志点的坐标,通过凸显映射的操作,使得标定板上的对角标志点的位置在点云数据中可视化,从而可以获取对角标志点相机坐标。
13、在一个具体的可实施方案中,所述不同颜色分量值包括红色分量值、绿色分量值和蓝色分量值;
14、所述对所述标定板的单个点的所述颜色分量进行凸显映射包括:
15、
16、其中,和分别表示所述标定板上的第i个点的颜色分量在rgb色彩空间中的红色分量值、绿色分量值和蓝色分量值;表示所述标定板上第i个点的强度值;表示通过裁剪提取出的单个所述标定板的点云数据中强度值的最小值,表示通过裁剪提取出的单个所述标定板的点云数据中强度值的最大值,n表示裁剪提取出的单个标定板点云的数目。
17、在一个具体的可实施方案中,所述根据所述对角标志点世界坐标和所述对角标志点相机坐标,计算得到手眼转换矩阵包括:
18、根据所述对角标志点世界坐标和所述对角标志点相机坐标,建立手眼转换数学模型,所述手眼转换数学模型包括所述手眼转换矩阵;
19、求解所述手眼转换矩阵初解,所述手眼转换矩阵初解包括手眼转换矩阵旋转部分初解和手眼转换矩阵平移部分初解;
20、构建矩阵优化的目标函数,通过迭代最小二乘法求解所述手眼转换矩阵终解,所述手眼转换矩阵终解包括手眼转换矩阵旋转部分终解和手眼转换矩阵平移部分终解。
21、通过上述技术方案,通过建立包含手眼转换矩阵的数学模型,并求解初解和终解最终得到手眼转换矩阵,使得计算得到的手眼转换矩阵的结果更精确;此外,计算得到手眼转换矩阵,只需要一次标定后续便可重复使用,从而可以提高作业效率。
22、在一个具体的可实施方案中,所述求解所述手眼转换矩阵初解包括:
23、根据所述对角标志点世界坐标和所述对角标志点相机坐标,构建协方差矩阵;
24、所述协方差矩阵包括:
25、
26、其中,表示所述协方差矩阵,i=1,2,..,n表示第i个标定板,n表示所述标定板的数量,表示第i个标定板所述对角标志点相机坐标,表示第i个标定板所述对角标志点世界坐标,表示所有所述标定板的所述对角标志点相机坐标的均值坐标,表示所有所述标定板的所述对角标志点世界坐标的均值坐标;
27、对所述协方差矩阵进行奇异值分解,并计算得到所述手眼转换矩阵初解;
28、所述奇异值分解包括:
29、[u,s,v]=svd(conv)
30、
31、其中,svd(conv)表示对所述协方差矩阵进行奇异值分解,表示分解得到的左奇异矩阵,表示分解得到的奇异矩阵,表示分解得到的右奇异矩阵,表示所述手眼转换矩阵旋转部分初解,表示所述手眼转换矩阵平移部分初解。
32、在一个具体的可实施方案中,所述手眼转换数学模型包括:
33、
34、其中,xcam_mark=[xcam_mark ycam_mark zcam_mark]t表示所述对角标志点相机坐标,xcam_mark、ycam_mark和zcam_mark分别表示所述对角标志点相机坐标在x轴、y轴和z轴方向的坐标值;xbase_mark=[xbase_mark ybase_mark zbase_mark]t表示所述对角标志点世界坐标,xbase_mark、ybase_mark和zbase_mark分别表示所述对角标志点世界坐标在x轴、y轴和z轴方向的坐标值;表示所述手眼转换矩阵,表示旋转变换,表示平移变换,o表示元素全为0的行向量。
35、在一个具体的可实施方案中,所述矩阵优化的目标函数包括:
36、
37、其中,i=1,2..,n表示所述标定板的数量,表示所述手眼转换矩阵旋转部分终解,表示所述手眼转换矩阵平移部分终解,表示手眼转换矩阵终解。
38、第二方面,本技术提供一种手眼标定装置,采用如下技术方案:所述装置应用于手眼标定系统,所述手眼标定系统包括桁架式装车机、相机和若干标定板,所述标定板包括对角标志点,所述装置包括:
39、世界坐标获取模块,用于在若干所述标定板安装完成且所述桁架式装车机位置调整完成时,获取所述桁架式装车机采集的若干所述对角标志点的点位信息,并将所述点位信息设定为对角标志点世界坐标;
40、点云数据获取模块,用于在所述桁架式装车机的装车料斗移走时,获取所述相机采集的全场景点云数据;
41、相机坐标获取模块,用于在所述全场景点云数据中,对若干所述标定板的所述对角标志点进行凸显映射,并得到对角标志点相机坐标;
42、转换矩阵计算模块,用于根据所述对角标志点世界坐标和所述对角标志点相机坐标,计算得到手眼转换矩阵。
43、第三方面,本技术提供一种计算机设备,采用如下技术方案:包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如上述任一种手眼标定方法的计算机程序。
44、第四方面,本技术提供一种计算机可读存储介质,采用如下技术方案:存储有能够被处理器加载并执行上述任一种手眼标定方法的计算机程序。
45、综上所述,本技术具有以下有益技术效果:
46、本发明根据激光雷达发射的调制波对不同材质的反射率不同的特性,设计了简易适用的标定板,该标定板能有效凸显出标定所需的标志点数据,便于实际标定过程中的对点操作,快速辅助完成装车标定的数据采集;通过对采集的相机坐标系下和世界坐标系下的角标志点对数据构建协方差矩阵,通过奇异值分解获得手眼矩阵的初解,并通过迭代最小二乘优化得到最终的手眼矩阵结果;整个标定流程简洁,操作简单,标定过程求解稳定,只需完成一次标定后续便可重复使用。此外,使用的标定板制作方法简单,成本低;标定结果精度可达20mm,满足自动装车的工艺精度要求。
1.一种手眼标定方法,其特征在于:所述方法应用于手眼标定系统,所述手眼标定系统包括桁架式装车机、相机和若干标定板,所述标定板包括对角标志点,所述方法包括:
2.根据权利要求1所述的方法,其特征在于:所述全场景点云数据包括坐标分量、颜色分量和强度值,所述对若干所述标定板的所述对角标志点进行凸显映射,并得到对角标志点相机坐标包括:
3.根据权利要求2所述的方法,其特征在于:所述不同颜色分量值包括红色分量值、绿色分量值和蓝色分量值;
4.根据权利要求1所述的方法,其特征在于:所述根据所述对角标志点世界坐标和所述对角标志点相机坐标,计算得到手眼转换矩阵包括:
5.根据权利要求4所述的方法,其特征在于:所述求解所述手眼转换矩阵初解包括:
6.根据权利要求4所述的方法,其特征在于:所述手眼转换数学模型包括:
7.根据权利要求4所述的方法,其特征在于:所述矩阵优化的目标函数包括:
8.一种手眼标定装置,其特征在于:所述装置应用于手眼标定系统,所述手眼标定系统包括桁架式装车机、相机和若干标定板,所述标定板包括对角标志点,所述装置包括:
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质,其特征在于,存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。