本发明涉及多传感器信息融合，特别是涉及基于vio和lio的在线外参优化方法。
背景技术：
1、在多传感器信息融合领域中使用相机与激光雷达进行融合时，将二维图像以及三维点云进行匹配十分重要，依赖于准确的坐标系转换，即外参。所以外参的准确程度会对信息融合的鲁棒性、准确性产生比较大的影响。通过在线外参标定，slam(同步定位与建图)系统可以实时调整传感器之间的相对位置和姿态关系，从而获得更准确的感知数据，提高系统整体性能。
2、传统的离线外参标定方法如棋盘格标定法等需要多次匹配，且随时间会产生飘移，缺乏准确性和鲁棒性。在大尺度环境中，如果旋转关系有误差，那么由于激光雷达测量距离较远，则会产生较大的量测误差，并且需要准备相机与激光雷达都能探测到的角点目标，对环境的要求较高。
3、在线自动标定外参方法能够很好的克服传统的离线外参标定方法的缺点。现有技术中的在线自动标定外参方法是采用相机和激光雷达进行外参标定，可以在没有任何预先明确特征的任意场景中，使用数值方法由相机和激光雷达的各自模态推导出相应的外参，之后再次优化迭代出最终外参。但是，现有技术中的在线自动标定外参方法如果只应用单一的旋转运动难以获得精确的收敛条件，同时极少的旋转运动又会导致误差的累计传播，造成相机运动估计的精度下降，并且激光雷达在雨雪等不理想环境下自身位姿估计鲁棒性较差，会导致外参估计的鲁棒性降低。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于vio和lio的在线外参优化方法，结合了imu预积分，使得位姿估计更加准确且最小化代价函数获得最终外参时优化过程更加容易收敛，从而能够提高外参估计的鲁棒性和精确性。
2、本发明提供了一种基于vio和lio的在线外参优化方法，包括以下步骤：
3、将imu预积分与相机运动恢复进行配准获得相机的自身位姿估计；
4、以imu预积分作为激光雷达的ndt算法的先验信息，将先验信息以及激光雷达数据输入ndt算法获得激光雷达的自身位姿估计；
5、建立相机的自身位姿估计、激光雷达的自身位姿估计以及外参的变换关系并根据变换关系确定包含外参、相机的自身位姿估计以及激光雷达的自身位姿估计的代价函数，最小化代价函数获得最终外参。
6、在其中一个实施例中，将imu预积分与相机运动恢复进行配准包括：
7、对imu的加速度信息和角速度信息进行预积分处理获得imu预积分；
8、建立包含固定数量相机帧的滑动窗口，对滑动窗口进行视觉运动恢复处理；
9、在滑动窗口中将imu预积分与相机运动恢复进行配准。
10、在其中一个实施例中，以imu预积分作为激光雷达的ndt算法的先验信息，将先验信息输入ndt算法获得激光雷达的自身位姿估计包括：
11、创建点云对象，并将激光雷达采集的点云数据读取到点云对象中，然后对激光雷达采集的点云数据进行滤波；
12、将滤波后相邻两帧的点云以及imu预积分提供的位姿变换的先验信息输入到ndt算法中，获得激光雷达的自身位姿估计。
13、在其中一个实施例中，在滑动窗口中将imu预积分与相机运动恢复进行配准包括：
14、定义视觉惯性的重投影误差并计算出重投影误差的雅可比矩阵；
15、将重投影误差以及雅可比矩阵放入g2o库中进行优化，其中，优化的过程保持优化因子数为滑动窗口中的状态数量。
16、在其中一个实施例中，视觉惯性的重投影误差为
17、
18、式中，c表示滑动窗口中的关键帧，为特征点l在相机第i、j帧中的像素位置，表示第i帧imu相对于世界坐标系的旋转，表示第i帧imu相对于世界坐标系的平移变换，代表第l组特征点在第j帧相机帧的三维点坐标，表示由第i帧相机拍摄到的第l组特征点在第j帧相机帧的投影三维点坐标，πc-1表示将像素点投影到相机单位球面上。为待优化状态变量，为相机与imu的外参，d0～dm为第0～m组特征点深度，和表示imu预积分的结果，为世界坐标系转换到第j帧imu坐标系的旋转矩阵，为imu到相机的外参旋转矩阵。
19、在其中一个实施例中，雅可比矩阵为：
20、
21、式中，m为待优化变量中特征点的组数。
22、在其中一个实施例中，相机的自身位姿估计、激光雷达的自身位姿估计以及外参的变换关系为
23、posl＝r posc+t
24、式中，posl和posc分别表示在同一时刻下的激光雷达和相机在世界坐标系下的位置。
25、在其中一个实施例中，包含外参、相机的自身位姿估计以及激光雷达的自身位姿估计的代价函数为
26、
27、式中，posci是相机在第i帧时刻的位置，由相机初始原点坐标经过由视觉sfm与imu预积分配准得到的旋转矩阵和平移向量变换得到，和为激光雷达帧间的准确平移向量与旋转矩阵，和为相机帧间的准确平移向量与旋转矩阵，r、t为最终外参的旋转和平移量。
28、在其中一个实施例中，最终外参为
29、
30、本发明的有益效果：本发明的相机的自身位姿估计以及激光雷达的自身位姿估计的获取均结合了imu预积分，使得位姿估计更加准确，可以确保不理想环境下外参估计的鲁棒性，并且imu预积分能够为相机和雷达的关键帧分别提供位姿变化的初始值，使得最小化代价函数获得最终外参时优化过程更加容易收敛，可以获得精确地收敛条件，提高了计算的收敛速度，进而提高了在线外参优化的实时性。
1.一种基于vio和lio的在线外参优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于vio和lio的在线外参优化方法，其特征在于，将imu预积分与相机运动恢复进行配准包括：
3.根据权利要求2所述的基于vio和lio的在线外参优化方法，其特征在于，以imu预积分作为激光雷达的ndt算法的先验信息，将所述先验信息输入ndt算法获得激光雷达的自身位姿估计包括：
4.根据权利要求2所述的基于vio和lio的在线外参优化方法，其特征在于，在所述滑动窗口中将imu预积分与相机运动恢复进行配准包括：
5.根据权利要求4所述的基于vio和lio的在线外参优化方法，其特征在于，所述视觉惯性的重投影误差为
6.根据权利要求4所述的基于vio和lio的在线外参优化方法，其特征在于，所述雅可比矩阵为：
7.根据权利要求1所述的基于vio和lio的在线外参优化方法，其特征在于，所述相机的自身位姿估计、激光雷达的自身位姿估计以及外参的变换关系为
8.根据权利要求1所述的基于vio和lio的在线外参优化方法，其特征在于，所述包含外参、相机的自身位姿估计以及激光雷达的自身位姿估计的代价函数为
9.根据权利要求1所述的基于vio和lio的在线外参优化方法，其特征在于，所述最终外参为
