本发明涉及机器视觉追踪领域，尤其涉及一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法。
背景技术：
1、线性可变形体(简称dlo)是指那些外观呈线性且形状大小随外部操作发生连续变化的对象，例如绳子、线缆、纤维等。针对dlo的机器视觉追踪，主要是通过相机等光学感知设备实时提取各dlo动态变化的状态特征，并构建各个时刻各dlo状态特征的对应关系，为机器人自主操作各dlo提供指导。
2、当dlo受到外部作用力时，其连续形变行为具有典型的“无限自由度”特征，从而使得dlo中具有明显特征结构的检测点(如拐点与角点)并不能像刚性体一样，在不同时刻保持其在对象内部的相对位置不变。因此dlo呈现出形态不规则、形变难跟踪等特点，如何对不同于刚性体的dlo状态进行追踪，目前进行了如下研究。
3、针对dlo的机器视觉追踪主要为机器人的自主dlo操作提供感知基础，是dlo操作的核心内容之一。例如在电控柜线缆布线、液压软管排布的机器人自主作业中，为机器人反馈线缆、液压软管在机器人操作下的位置、姿态变化，指导机器人针对变化采取合适的操作动作。
4、公开号为cn116433718a的发明专利公开文献，公开了特征追踪系统和方法，该文献为点追踪方法，其基于可变形对象(诸如人体)明显的特征(诸如眉毛、鼻子、耳朵)使用3dmm模型对可变形对象进行检测与追踪，实现可变形对象的动作捕捉。但不适合用于没有明显特征的线性可变形体的追踪。
5、公开号为cn1908963a的发明专利公开文献，公开了检测和跟踪可变形对象的方法，该专利文献用于检测和跟踪具有连续变化特征的可变形对象，通过嵌入函数的连续变化特性的时间统计形状模型的最大化概率方法推断形状矢量序列，从而实现可变形对象的追踪。主要作用是将运动的可变形对象从含噪音的背景中分割，而不侧重于对可变形体对象不同时刻特征的匹配，且只适用于单个可变形体追踪，无法实现多个线性可变形体的分别追踪。
6、公开号为cn116235075a的发明专利公开文献，公开了用于追踪变形的系统和方法，其对场景中移动的可变形对象感测，通过追踪系统与测量系统的校准匹配实现场景中对象标称形状变形的追踪。但该专利文献只适用于单个可变形体追踪，无法实现多个线性可变形体的分别追踪。
7、在现代工业自动化以及家用领域，针对多个dlo的追踪往往更为普遍。在现代工业自动化领域，例如在针对电控柜或液压系统的检修时，操作人员或机器人通常需要面对多个线缆或液压软管同时无规则交叉出现的场景。在家用领域，例如在针对线绳、纤维的捆扎、打结、编织时，操作人员或机器人通常需要面对多个线绳、纤维同时无规则交叉出现的场景。这些dlo不规则、难跟踪的特征混杂在一起互相干扰，却又需要操作人员或机器人对它们进行分离追踪以实现分别操作，为dlo的追踪带来新的挑战。
8、虽然在dlo追踪前加入多dlo的分离预处理是一种可行的思路，但是当多dlo外观相同或相似时，例如在追踪相同颜色、相同直径的线缆时，无法通过传统的基于阈值、基于边缘、基于区域的图像分割技术进行有效的分离。而采用基于深度学习的图像分割方法进行多dlo的分离需要大量的数据集进行训练，成本高昂。
技术实现思路
1、本发明的目的在于提供一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，基于结构保持配准与迭代几何分离方法，并嵌入机器人自主操作过程中，实现在操作多dlo的同时完成互相的分离追踪，迭代指导机器人自主操作。
2、实现本发明目的的技术方案如下：
3、本发明提供了一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，包括：
4、步骤一、采用结构保持配准模型提取并追踪多线性变形体的特征点，根据所述特征点构建特征列表；
5、步骤二、采用几何方法分离出n个线性变形体，根据所述线性变形体将所述特征列表中的所述特征点分离为n个列表，其中，n为线性变形体的个数；
6、步骤三、机器人结合n个列表中各特征点自主操作多线性变形体；
7、步骤四、判断机器人自主操作多线性变形体是否完成，若完成则任务结束，否则转至步骤一。
8、作为本发明的进一步改进，所述步骤一包括：
9、采集包含多线性变形体场景的图像得到原始图像，将所述原始图像灰度处理得到灰度图像；
10、对所述灰度图像中多线性变形体与背景进行分割，得到多线性变形体各像素的位置列表；
11、采用结构保持配准模型提取并追踪所述位置列表得到特征点，基于所述特征点的坐标构建特征列表。
12、作为本发明的进一步改进，所述步骤一具体为：
13、采用相机采集任意交叉但相互独立的多线性变形体的场景，获得原始图像i，将所述原始图像i转换为灰度图像i gray；
14、采用基于颜色阈值的掩膜对所述灰度图像i gray中多线性变形体与背景进行分割，得到所有多线性变形体像素的位置列表i def，表示为：
15、
16、其中，表示哈达玛积运算，表示两个相同大小矩阵对应位置数值相乘；m表示基于颜色阈值的掩膜；
17、采用结构保持配准模型提取并追踪所述位置列表i def中所有多线性变形体的特征点，基于所述特征点的坐标构建特征列表d；
18、d＝(d1,d2,…,dn)＝((u1,v1),(u2,v2),...(un,vn))
19、其中，d表示特征列表，d表示列表中的特征点，(u,v)表示特征点对应位置的横纵坐标。
20、作为本发明的进一步改进，所述步骤二包括：
21、提取多线性变形体的交叉备选点并构建交叉备选点列表，根据所述交叉备选点提取交叉点，构建交叉点列表；
22、基于步骤一的所述特征列表和所述交叉点列表分离出属于第i个多线性变形体的特征点构建列表di，得到n个列表。
23、作为本发明的进一步改进，所述提取多线性变形体的交叉备选点并构建交叉备选点列表，根据所述交叉备选点提取交叉点，构建交叉点列表，包括：
24、将步骤一中所述特征列表中所有元素构建kd树，查询kd树中每个元素di的a个相邻元素分别距元素di的距离di1，di2，…，dia；
25、查找所述特征列表中较为密集的点，将各元素di的di1，di2，…，dia相加得到各元素的相加值，获取所述相加值最小的m个元素构建为交叉备选点列表c，其中，m表示交叉备选点的个数；
26、使用k-means聚类方法对交叉备选点列表c进行聚类得到聚类中心，将聚类中心构建为交叉点列表cr，并将交叉备选点列表c中各元素按所属聚类中心进行分离。本发明实施例的交叉备选点列表c与交叉点列表cr是两个不同的列表。交叉备选点列表c是满足一些条件的特征点组成的列表，列表内容为满足条件的特征点的横纵坐标；交叉点列表cr是对交叉备选点列表c进行聚类操作得到的列表，列表内容为各个聚类中心的横纵坐标。
27、作为本发明的进一步改进，所述基于步骤一的所述特征列表和所述交叉点列表分离出属于第i个多线性变形体的特征点构建列表di，包括：
28、从步骤一的所述特征列表中随机选择一个特征点di作为起始点，正向沿线寻找连接点dk；
29、判断连接点dk距离起始点的距离是否小于阈值，若小于阈值则根据连接点dk查找二次连接点，若大于阈值则采用本轮沿线查找连接的特征点构建列表di；
30、根据连接点dk查找二次连接点，或者交换首次使用的起始点和连接点之后反向沿线查找二次连接点；若存在二次连接点则选择合适的二次连接点，使用连接点替换起始点，二次连接点替换连接点；若不存在二次连接点则分离出本轮沿线查找连接的特征点，直至从所述特征列表和所述交叉点列表分离出属于第i个多线性变形体的特征点构建列表di。
31、作为本发明的进一步改进，从步骤一的所述特征列表中随机选择一个特征点di作为起始点，正向沿线寻找连接点dk，具体为：
32、从步骤一的所述特征列表中随机选择一个特征点di作为沿线查找的起始点，记此次沿线查找为正向沿线查找；
33、判断特征点di是否属于交叉备选点列表，若属于则使用特征点di对应的聚类中心crj的坐标替换特征点di，并从特征列表中删除以crj为聚类中心的列表c中的所有元素；若不属于则以特征点di作为沿线查找起始点坐标，从特征列表中删除特征点di，根据起始点坐标在特征列表中查找特征点dk。
34、作为本发明的进一步改进，判断连接点dk距离起始点的距离是否小于阈值，若小于阈值则根据连接点dk查找二次连接点，若大于阈值则采用本轮沿线查找连接的特征点构建列表di，根据连接点dk查找二次连接点，或者交换首次使用的起始点和连接点之后反向沿线查找二次连接点；若存在二次连接点则选择合适的二次连接点，使用连接点替换起始点，二次连接点替换连接点；若不存在二次连接点则分离出本轮沿线查找连接的特征点，直至从所述特征列表和所述交叉点列表分离出属于第i个多线性变形体的特征点构建列表di；包括：
35、根据特征点dk距离起始点的距离是否小于阈值，若小于则将相邻特征点dk记为连接点，确定起始点至连接点的边为起始边；
36、判断相邻特征点dk是否属于交叉备选点列表，若属于则使用相邻特征点dk对应的聚类中心crm的坐标替换特征点dk，并从特征列表中删除以crm为聚类中心的列表c中的所有元素；若不属于则以特征点dk作为沿线查找的连接点坐标，从特征列表中删除特征点dk，根据连接点坐标在特征列表中查找最近的b个相邻元素作为二次连接点；
37、排除距连接点距离超过阈值的二次连接点，计算起始点-连接点-二次连接点构建的角度θ；通过连接点-二次连接点距离、起始点-连接点-二次连接点角度θ加权构建评分η；
38、通过评分η、对应三元连接组的已出现次数τ构建连接概率p；
39、选择连接概率p最高的三元连接组作为连接方案，并记其已出现次数+1；
40、使用连接点替换为新起始点，使用选中的二次连接点替换为新连接点，以正向沿线查找连接使用的随机选择点作为连接点，以正向沿线查找的起始边的另一个端点为起始点，记此次沿线查找为反向沿线查找；
41、在本轮沿线查找连接中在三元连接组中出现过的元素记为已完成分离的第i个线性变形体的特征点，构建列表di；
42、直至列表d为空或只包含1个元素，在列表d中添加被删除的属于列表c的元素，重新开始另一个线性变形体的沿线查找连接。
43、作为本发明的进一步改进，所述步骤三机器人结合n个列表中各特征点自主操作多线性变形体，具体为：
44、输入线性可变形体的特征点信息和用户期望的线性可变形体的位置信息与姿态信息；
45、机器人根据特征点信息和用户期望的位置信息以及姿态信息自主选择合适的抓取位置和执行动作，并执行操作步骤；
46、输出多线性可变形体的位姿信息。
47、作为本发明的进一步改进，所述步骤四判断机器人自主操作多线性变形体是否完成，若完成则任务结束，否则转至步骤一，包括：
48、输入用户期望的线性可变形体的位置信息与姿态信息，以及所述步骤三输出的多线性可变形体的位置信息与姿态信息；
49、将用户期望的位置信息与姿态信息、所述步骤三输出的位置信息与姿态信息进行比较，得到比较结果；
50、基于所述比较结果判断机器人操作线性可变形体过程是否最终完成，并基于完成与否，选择转回步骤一或结束。
51、与现有技术相比，本发明的有益效果是：
52、1、本发明基于结构保持配准与迭代几何分离方法，嵌入在机器人自主操作的过程中的，随着机器人对多线性可变形体的自主操作，以同时进行多线性可变形体的分离追踪，实现在操作多dlo的同时完成互相的分离追踪，迭代指导机器人自主操作。
53、2、本发明在基于spr方法的单线性变形体追踪的基础上结合迭代几何分离手段，在对多线性变形体进行整体追踪的同时，对各线性变形体进行实时分离，实现对各dlo的分别追踪。
54、3、本发明采用迭代几何分离方式分离各线性变形体，不需要数据集训练，成本低，受线性变形体的外观相似度影响小，鲁棒性高；本发明嵌入操作过程动态迭代分离，具有分离效果好的优点。
1.一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，包括：
2.根据权利要求1所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，所述步骤一包括：
3.根据权利要求2所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，所述步骤一具体为：
4.根据权利要求1所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，所述步骤二包括：
5.根据权利要求4所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，所述提取多线性变形体的交叉备选点并构建交叉备选点列表，根据所述交叉备选点提取交叉点，构建交叉点列表包括：
6.根据权利要求4所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，所述基于步骤一的所述特征列表和所述交叉点列表分离出属于第i个多线性变形体的特征点构建列表di，包括：
7.根据权利要求6所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，从步骤一的所述特征列表中随机选择一个特征点di作为起始点，正向沿线寻找连接点dk，具体为：
8.根据权利要求6所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，判断连接点dk距离起始点的距离是否小于阈值，若小于阈值则根据连接点dk查找二次连接点，若大于阈值则采用本轮沿线查找连接的特征点构建列表di，根据连接点dk查找二次连接点，或者交换首次使用的起始点和连接点之后反向沿线查找二次连接点；若存在二次连接点则选择合适的二次连接点，使用连接点替换起始点，二次连接点替换连接点；若不存在二次连接点则分离出本轮沿线查找连接的特征点，直至从所述特征列表和所述交叉点列表分离出属于第i个多线性变形体的特征点构建列表di；包括：
9.根据权利要求1所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，所述步骤三机器人结合n个列表中各特征点自主操作多线性变形体，具体为：
10.根据权利要求1所述的一种基于结构保持配准与迭代几何分离的多线性可变形体追踪方法，其特征在于，所述步骤四判断机器人自主操作多线性变形体是否完成，包括：
