本申请属于自动驾驶,涉及一种基于面元拟合的多传感器融合里程计生成方法及系统。
背景技术:
1、随着汽车的普及和使用频率的上升,道路拥堵、环境污染与交通事故已经成为人们不得不面对的问题。发展无人驾驶车辆及研究车辆的自主行驶系统是目前实现安全、高效交通的最佳选择。在无人驾驶车辆的发展过程中, 对车辆的行驶距离和车速的精确控制能力始终是影响车辆智能控制能力的关键因素之一,而获取准确的车辆实时行驶距离和速度参数是实现车辆的行驶距离和车速精确控制的重要基础。
2、在无人驾驶领域,车辆会通过对外界信息的获取来实现三维世界的数据采集,通过对多种传感器融合处理,来精确获取当前车辆的位姿信息,获取车辆在无人驾驶系统中的位姿速度和朝向,帮助车辆平稳行驶至目的地。在进行多源传感器融合的过程中,为了减少处理的时间,提高处理效率达到实时处理的目的,一般都会使用特征提取来对各个模块进行数据的预处理,从而达到实时输出位姿的目的。
3、目前的方案对于传感器的特征提取主要还是体现在了降维操作,如对于激光雷达点云数据做点线特征和点面特征提取,对于视觉传感器做关键像素点的提取。这种方法都是通过对原始大规模观测数据做降采样操作,来达到特征和计算效率的平衡。同时在处理点云操作的时候,大部分都是只做了去畸变处理,而没有做动态障碍物的剔除,动态障碍物会在实际的里程计推算中造成较大的干扰,影响里程计的精度。
技术实现思路
1、为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
2、为了解决相关技术中存在的问题,本公开实施例提供了基于面元拟合的多传感器融合里程计生成方法及系统,用以解决现有技术中的无人驾驶汽车在评估程计中没有剔除动态障碍物而导致精度不足的问题。
3、在一些实施例中,提供了应用于无人驾驶汽车,所述汽车包括多种传感器,多种传感器为激光雷达系统、视觉传感器和imu传感器,所述方法包括:
4、s10,获取激光雷达传感器数据、视觉传感器数据和imu传感器数据;
5、s20,对imu数据做预积分处理,来得到位姿更新周期内的相对变换关系;
6、s30,根据位姿更新周期内的相对变换关系将激光雷达传感器数据、视觉传感器数据进行坐标变换得到相邻帧的激光点云视差图和视觉视差图,通过对视差图的联合处理,剔除动态障碍物;
7、s40,对于激光点云数据做面元的提取,其中,面元包含了三维坐标点x,y,z,法向量nx, ny,nz以及半径r,通过对于每个点选取不共线的临近四个点构建平面,获取对应的面元信息;
8、s50,对于视觉图像数据做关键点的提取,构建帧间的约束关系;
9、s60,根据位姿更新周期内的相对变换关系,面元信息和帧间的约束关系做联合优化,得到位姿输出信息;
10、s70,位姿输出信息基于rts平滑器做平滑处理,得到平稳的位姿结果。
11、优选的,s20,在对imu数据做预积分处理,来得到位姿更新周期内的相对变换关系之前,还包括:
12、对激光雷达传感器数据、视觉传感器数据和imu传感器数据进行预处理,包括时间同步处理和标定处理。
13、优选的,所述标定处理为使用的标定是一种联合标定,通过构建激光雷达传感器,视觉传感器和imu传感器预处理后的残差信息,搭建联合优化方程,从而实现外参和传感器时间差异的估计。
14、优选的,s20,在对imu数据做预积分处理,来得到位姿更新周期内的相对变换关系之前,还包括:
15、对imu做初始化,获取重力加速度的偏置量。
16、优选的,s40中的对于激光点云数据做面元的提取,包括:
17、小面元基于并查集的方法来进行面元拟合,得到的平面拟合成大面元。
18、在一些实施例中,公开了一种系统,包括:
19、一种基于面元拟合的多传感器融合里程计生成系统,包括:
20、数据对齐模块,被配置为获取激光雷达传感器数据、视觉传感器数据和imu传感器数据;
21、imu预积分模块,被配置为对imu数据做预积分处理,来得到位姿更新周期内的相对变换关系;
22、特征提取模块,被配置为根据位姿更新周期内的相对变换关系将激光雷达传感器数据、视觉传感器数据进行坐标变换得到相邻帧的激光点云视差图和视觉视差图,通过对视差图的联合处理,剔除动态障碍物,对于激光点云数据做面元的提取,其中,面元包含了三维坐标点x,y,z,法向量nx, ny,nz以及半径r,通过对于每个点选取不共线的临近四个点构建平面,获取对应的面元信息,对于视觉图像数据做关键点的提取,构建帧间的约束关系;
23、位姿平滑模块,被配置为根据位姿更新周期内的相对变换关系,面元信息和帧间的约束关系做联合优化,得到位姿输出信息;
24、位姿估计模块,被配置为位姿输出信息基于rts平滑器做平滑处理,得到平稳的位姿结果。
25、优选的,所述系统还包括:
26、数据预处理模块,被配置为对激光雷达传感器数据、视觉传感器数据和imu传感器数据进行预处理,包括时间同步处理和标定处理。
27、优选的,所述标定处理为使用的标定是一种联合标定,通过构建激光雷达传感器,视觉传感器和imu传感器预处理后的残差信息,搭建联合优化方程,从而实现外参和传感器时间差异的估计。
28、优选的,所述系统,还包括imu初始化模块,被配置为对imu做初始化,获取重力加速度的偏置量。
29、在一些实施例中,公开了一种无人驾驶汽车,应用于上述的基于面元拟合的多传感器融合里程计生成方法。
30、本公开实施例提供的一种基于面元拟合的多传感器融合里程计生成方法及系统,可以实现以下技术效果:
31、本公开实施例中利用通过对于激光雷达传感器和视觉传感器的处理,来实现动态障碍物剔除和面元拟合,提高里程计的效率和精度,本方案相比于其他现有方案在计算资源消耗减低,里程计精准度提高上有较大的优势,同时可以输出平滑稳定的位姿信息,提升了里程计的鲁棒性。
32、以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
1.一种基于面元拟合的多传感器融合里程计生成方法,其特征在于,应用于无人驾驶汽车,所述汽车包括多种传感器,多种传感器为激光雷达系统、视觉传感器和imu传感器,所述方法包括:
2.根据权利要求1所述的基于面元拟合的多传感器融合里程计生成方法,其特征在于,s20,在对imu数据做预积分处理,来得到位姿更新周期内的相对变换关系之前,还包括:
3.根据权利要求2所述的基于面元拟合的多传感器融合里程计生成方法,其特征在于,所述标定处理为使用的标定是一种联合标定,通过构建激光雷达传感器,视觉传感器和imu传感器预处理后的残差信息,搭建联合优化方程,从而实现外参和传感器时间差异的估计。
4.根据权利要求1所述的基于面元拟合的多传感器融合里程计生成方法,其特征在于,s20,在对imu数据做预积分处理,来得到位姿更新周期内的相对变换关系之前,还包括:
5.根据权利要求1所述的基于面元拟合的多传感器融合里程计生成方法,其特征在于,s40中的对于激光点云数据做面元的提取,包括:
6.一种基于面元拟合的多传感器融合里程计生成系统,其特征在于,包括:
7.根据权利要求6所述的基于面元拟合的多传感器融合里程计生成系统,其特征在于,还包括:
8.根据权利要求7所述的基于面元拟合的多传感器融合里程计生成系统,其特征在于,所述标定处理为使用的标定是一种联合标定,通过构建激光雷达传感器,视觉传感器和imu传感器预处理后的残差信息,搭建联合优化方程,从而实现外参和传感器时间差异的估计。
9.根据权利要求6所述的基于面元拟合的多传感器融合里程计生成系统,其特征在于,还包括:
10.一种无人驾驶汽车,其特征在于,应用于如权利要求1至5中任一项所述的基于面元拟合的多传感器融合里程计生成方法。