本技术涉及视频，特别涉及一种基于视觉和雷达的点云融合方法、装置、设备及存储介质。
背景技术：
1、三维重建技术发展迅猛，在机器人、空间探测、医学等领域都有深入的应用。传统的基于视觉的三维重建方法视野范围较广，易受到空间环境光照的影响，鲁棒性较差。利用激光雷达扫描目标物，虽然空间光照对重建点云影响较小，但受激光雷达采集数据量大，成本较高，且缺少颜色信息，不便于直观的环境展现。由此，基于单一传感器的三维重构逐渐无法满足精确远程智能化的需求。目前，已有部分研究人员开展基于视觉和雷达融合点云的三维重建技术研究。研究人员将可见光相机的rgbd点云与激光雷达点云进行深度融合，充分结合两种传感器的优势，丰富目标物的特征信息，提升三维重建的精度和鲁棒性。
2、虽然现有雷达与rgbd点云融合的三维重建技术取得了一定进步，但仍存在一些局限。例如：大部分融合算法将点云投射到固定的二维平面来识别其特征，造成三维信息的丢失，或者，未考虑不同点云的空间特征，未考虑噪声点、离群点等杂点的处理方式，对三维测量与重建的精度造成干扰。因此如何充分考虑不同点云的空间特征，提升不同传感器的感知与融合精度，仍是目前三维重建技术的研究难点。
技术实现思路
1、本技术实施例要达到的技术目的是提供一种基于视觉和雷达的点云融合方法、装置、设备及存储介质，用以解决当前不同传感器融合重建时易造成三维信息丢失或未考虑不同点云的空间特征导致精度低的问题。
2、为解决上述技术问题，本技术实施例提供了一种基于视觉和雷达的点云融合方法，包括：
3、获取rgbd相机拍摄的目标物的初始视觉点云，以及激光雷达采集的所述目标物的初始雷达点云；
4、基于遗传算法改进的kmeans对所述初始视觉点云进行第一预处理，得到目标视觉点云，以及基于蚁群算法对所述初始雷达点云进行第二预处理，得到目标雷达点云；
5、基于快速点特征直方图(fast point feature histograms，fpfh)，对所述目标视觉点云和所述目标雷达点云进行配准，得到融合点云。
6、具体地，如上所述的方法，所述基于遗传算法改进的kmeans对所述初始视觉点云进行第一预处理，得到目标视觉点云包括以下至少一项：
7、根据所述遗传算法改进的kmeans对所述初始视觉点云进行点云切割，得到包括所述目标物的第一过渡点云；
8、对所述第一过渡点云进行直通滤波处理，提取得到对应所述目标物的第二过渡点云；
9、对所述第一过渡点云或所述第二过渡点云进行体素降采样处理，得到所述目标视觉点云。
10、进一步的，如上所述的方法，所述根据所述遗传算法改进的kmeans对所述初始视觉点云进行点云切割，得到包括所述目标物的第一过渡点云，包括：
11、根据所述视觉点云确定初始遗传参数，所述初始遗传参数包括：所述初始视觉点云中的点数量、点集、种群大小、交叉概率、变异概率、聚类中心数、最大遗传代数以及初始个体；
12、根据所述初始遗传参数进行遗传迭代，并得到对应的聚类结果以及相邻两次遗传迭代之间的个体差异度，其中，所述遗传迭代包括：遗传和变异，所述聚类结果包括：当前最佳聚类对应的目标聚类中心数、目标聚类中心；
13、当连续预设迭代次数的平均个体差异度小于预设值时，停止迭代，，并根据当前的所述聚类结果，得到点云分割方案；
14、根据所述点云分割方案对所述视觉点云进行分割，得到所述第一过渡点云。
15、具体地，如上所述的方法，所述基于蚁群算法对所述初始雷达点云进行第二预处理，得到目标雷达点云，包括：
16、根据所述蚁群算法对所述初始雷达点云进行点云聚类处理，得到对应所述目标物的第三过渡点云；
17、对所述第三过渡点云进行引导滤波处理，得到所述目标雷达点云。
18、进一步的，如上所述的方法，所述根据所述蚁群算法对所述初始雷达点云进行点云聚类处理，得到对应所述目标物的第三过渡点云，包括：
19、获取所述初始雷达点云的点集合以及点云特征值集合；
20、对所述点云特征值集合中的点云特征值进行归一化处理，获取各点在预设投影方向上的第一投影值；
21、根据所述第一投影值以及预设投影指标的目标函数，确定目标投影方向；
22、获取各点在所述目标投影方向上的第二投影值；
23、根据所述第二投影值进行聚类分析，得到所述第三过渡点云。
24、具体地，如上所述的方法，所述基于fpfh，对所述目标视觉点云和所述目标雷达点云进行配准，得到融合点云，包括：
25、获取所述目标视觉点云的第一fpfh特征值以及所述目标雷达点云的第二fpfh特征值；
26、根据所述第一fpfh特征值和所述第二fpfh特征值对所述目标视觉点云和所述目标预选雷达点云进行粗配准，得到预选变换矩阵；
27、根据改进就近点搜索(iterative closest point，icp)算法以及所述预选变换矩阵，对所述目标视觉点云和所述目标预选雷达点云进行精配准，得到目标变换矩阵；
28、根据所述目标变换矩阵对所述目标视觉点云进行变换，得到所述融合点云。
29、进一步的，如上所述方法，所述获取所述目标视觉点云的第一fpfh特征值以及所述目标雷达点云的第二fpfh特征值，包括：
30、根据各第一目标点的法向量确定以各所述第一目标点为坐标原点的局部坐标系，所述第一目标点为所述目标视觉点云或所述目标雷达点云中的任意一点；
31、根据所述局部坐标系获取各所述第一目标点及其对应的邻域点的简单点特征直方图，所述邻域点为所述局部坐标系内位于预设半径内的点；
32、根据所述第一目标点与所述邻域点的第一单点特征直方图(simple pointfeature histograms，spfh)值以及各所述邻域点及其对应的次级邻域点的第二spfh值的加权和，得到所述第一目标点的fpfh特征值，其中，当所述第一目标点隶属于目标视觉点云时所述fpfh特征值为所述第一fpfh特征值，当所述第一目标点隶属于目标雷达点云时所述fpfh特征值为所述第二fpfh特征值。
33、具体地，如上所述方法，所述根据所述第一fpfh特征值和所述第二fpfh特征值对所述目标视觉点云和所述目标预选雷达点云进行粗配准，得到预选变换矩阵，包括：
34、从所述目标视觉点云中抽取预设数量的预选点，其中，相邻所述预选点之间的距离大于预设值；
35、根据所述第一fpfh特征值和所述第二fpfh特征值，从所述目标雷达点云中确定与各所述预选点对应的第一对应点；
36、根据所述预选点的集合以及所述第一对应点的集合，获取当前迭代对应的临时变换矩阵以及第一配准误差；
37、当迭代次数达到第一预设迭代次数后，确定所述第一配准误差中的最小值对应的所述临时旋转矩阵为所述预选变换矩阵。
38、具体地，如上所述方法，所述根据改进icp算法以及所述预选变换矩阵，对所述目标视觉点云和所述目标预选雷达点云进行精配准，得到目标变换矩阵，包括：
39、获取所述目标视觉点云中各所述第二目标点的切平面的法线与所述目标雷达点云平面的相交点；
40、根据所述相交点获取各所述第二目标点在所述目标雷达点云中的第二对应点，其中，所述第二对应点为所述第二目标点到所述相交点的切平面上的垂线与所述相交点的切平面的交点；
41、将所述预选变换矩阵、所述第二目标点的集合和所述第二对应点的集合代入预设模型中，得到所述目标变换矩阵以及第二配准误差，其中，所述目标变换矩阵对应的第二配准误差小于误差阈值或所述目标变换矩阵对应的迭代次数达到第二预设迭代次数。
42、本技术的另一实施例还提供了一种控制装置，包括：
43、第一处理模块，用于获取rgbd相机拍摄的目标物的初始视觉点云，以及激光雷达采集的所述目标物的初始雷达点云；
44、第二处理模块，用于基于遗传算法改进的kmeans对所述初始视觉点云进行第一预处理，得到目标视觉点云，以及基于蚁群算法对所述初始雷达点云进行第二预处理，得到目标雷达点云；
45、第三处理模块，用于基于fpfh，对所述目标视觉点云和所述目标雷达点云进行配准，得到融合点云。
46、本技术的再一实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于视觉和雷达的点云融合方法的步骤。
47、本技术的又一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的基于视觉和雷达的点云融合方法的步骤。
48、与现有技术相比，本技术实施例提供的一种基于视觉和雷达的点云融合方法、装置、设备及存储介质，至少具有以下有益效果：
49、本技术通过将三维的视觉点云和雷达点云进行融合，避免了现有技术中将点云投射到固定的二维平面导致的三维信息丢失；同时，采用基于遗传算法改进的kmeans对初始视觉点云进行第一预处理，基于蚁群算法对初始雷达点云进行第二预处理，并基于fpfh进行点云融合，考虑了不同点云的空间特征，使得融合后的融合点云充分集合视觉点云和雷达点云的优势，进一步提高了基于该融合点云进行三维测量和模型重建的精度。
1.一种基于视觉和雷达的点云融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于遗传算法改进的kmeans对所述初始视觉点云进行第一预处理，得到目标视觉点云包括以下至少一项：
3.根据权利要求2所述的方法，其特征在于，所述根据所述遗传算法改进的kmeans对所述初始视觉点云进行点云切割，得到包括所述目标物的第一过渡点云，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于蚁群算法对所述初始雷达点云进行第二预处理，得到目标雷达点云，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述蚁群算法对所述初始雷达点云进行点云聚类处理，得到对应所述目标物的第三过渡点云，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于快速点特征直方图fpfh，对所述目标视觉点云和所述目标雷达点云进行配准，得到融合点云，包括：
7.根据权利要求6所述方法，其特征在于，所述获取所述目标视觉点云的第一fpfh特征值以及所述目标雷达点云的第二fpfh特征值，包括：
8.根据权利要求6所述方法，其特征在于，所述根据所述第一fpfh特征值和所述第二fpfh特征值对所述目标视觉点云和所述目标预选雷达点云进行粗配准，得到预选变换矩阵，包括：
9.根据权利要求6所述方法，其特征在于，所述根据改进icp算法以及所述预选变换矩阵，对所述目标视觉点云和所述目标预选雷达点云进行精配准，得到目标变换矩阵，包括：
10.一种控制装置，其特征在于，包括：
11.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的基于视觉和雷达的点云融合方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的基于视觉和雷达的点云融合方法的步骤。
