本发明涉及视觉惯性融合，尤其涉及移动机器人视觉惯性传感器融合方法、装置、设备及介质。
背景技术：
1、视觉-惯性里程计(visual–inertial odometry，vio)，即视觉和惯性传感器数据的融合，在移动机器人导航定位中得到广泛关注和应用。相机提供了有关环境的详细数据，使它们能够有效地测量长距离的运动，而惯性测量单元(inertial measurement units，imus)则提供了适合于短时间内相对姿态估计的高速率测量单元。惯性测量加速度和角速率，可以补充在无纹理表面、极端照明，或快速运动的场景中稀缺或不可靠的视觉特征。相应地，视觉特征不太容易出现姿态漂移，这是由于累积的加速度计和陀螺测量中的小误差。融合来自视觉和惯性传感器的数据，最大限度地减少了两者的固有误差，使传感器融合成为估计长时间精确6自由度移动机器人位置和姿态的鲁棒方法。
2、传统的vio方法，如卡尔曼滤波器取得了良好的性能，但往往需要在视觉传感器和惯性传感器之间进行严格的传感器同步和校准。在使用移动机器人安装的传感器时，同步和校准的需要限制了传统vio应用。与车辆的运动相比，移动机器人的运动估计也更具挑战性，车辆仅限于沿道路更平稳的运动。移动机器人的复杂运动会导致imu测量的误差，例如，由于运动模糊或能见度损失，高加速度和视觉会引入较大的偏差。
技术实现思路
1、本发明提供移动机器人视觉惯性传感器融合方法、装置、设备及介质，可以提高移动机器人视觉惯性传感器融合的准确率以及效率。
2、为实现上述目的，本发明提供的移动机器人视觉惯性传感器融合方法，包括：
3、获取视觉图像，利用预设的融合视觉特征提取模型提取所述视觉图像的视觉特征；
4、获取惯性测量数据，并提取所述惯性测量数据的数据特征，得到惯性特征；
5、利用交叉注意力机制将所述视觉特征和惯性特征进行融合，得到第一融合特征；
6、获取运动相机的姿态变换数据，并根据所述姿态变换数据提取运动特征；
7、融合所述第一融合特征和运动特征，得到最终融合特征。
8、可选地，所述利用预设的融合视觉特征提取模型提取所述视觉图像的视觉特征，包括：
9、初始化所述预设的融合视觉特征提取模型中第一视觉特征提取模型的权重，并利用所述第一视觉特征提取模型中的卷积层对视觉图像进行卷积处理，得到第一视觉特征；
10、利用预训练完成的权重值初始化所述预设的融合视觉特征提取模型中第二视觉特征提取模型，并保持所述第二视觉特征提取模型中模型参数为初始化值；
11、利用所述第二视觉特征提取模型中的卷积层对视觉图像进行卷积处理，并在预设维数的维度中进行线性变换，得到第二视觉特征；
12、整合所述第一视觉特征以及第二视觉特征，得到所述视觉图像的视觉特征。
13、可选地，所述提取所述惯性测量数据的数据特征，得到惯性特征，包括：
14、根据预设的处理速率对惯性测量数据进行数据嵌入处理，处理完成后得到嵌入惯性测量数据；
15、提取所述嵌入惯性测量数据的加速度分量和角速度分量，并利用一维的卷积神经网络编码器对所述加速度分量和角速度分量进行编码得到所述惯性特征。
16、可选地，所述利用交叉注意力机制将所述视觉特征和惯性特征进行融合，包括：
17、将所述惯性特征作为所述交叉注意力机制中的查询，及将所述视觉特征作为所述交叉注意力机制中的键和值，并将所述查询、所述键以及所述值所述交叉注意力机制的输入数据；
18、利用所述交叉注意力机制中的多层感知机将所述交叉注意力的输出添加至所述视觉特征中并进行归一化，得到第一融合特征。
19、可选地，所述将所述惯性特征作为所述交叉注意力机制中的查询，及将所述视觉特征作为所述交叉注意力机制中的键和值，并将所述查询、所述键以及所述值所述交叉注意力机制的输入数据，包括：
20、通过所述交叉注意力机制中的键和值计算注意矩阵，并根据所述注意矩阵计算交叉注意力结果。
21、可选地，所述根据所述注意矩阵计算交叉注意力结果，包括：
22、采用下述公式计算交叉注意力结果：
23、
24、其中，s1为第一特征，s2为第二特征，wq为交叉注意力中查询权重，wk为交叉注意力中键权重，wv为交叉注意力中值权重，(·)t为矩阵转置运算，d为特征维度。
25、可选地，所述根据所述姿态变换数据提取运动特征，包括：
26、将姿态变换数据转换成李群矩阵，并提取所述李群矩阵中的三维矢量，其中，所述三维矢量包括线速度矢量和角速度矢量；
27、根据所述三维矢量提取运动特征。
28、为了解决上述问题，本发明还提供一种移动机器人视觉惯性传感器融合装置，所述装置包括：
29、特征提取模块，用于获取视觉图像，利用预设的融合视觉特征提取模型提取所述视觉图像的视觉特征；获取惯性测量数据，并提取所述惯性测量数据的数据特征，得到惯性特征；
30、特征融合模块，用于利用交叉注意力机制将所述视觉特征和惯性特征进行融合，得到第一融合特征；获取运动相机的姿态变换数据，并根据所述姿态变换数据提取运动特征；融合所述第一融合特征和运动特征，得到最终融合特征。
31、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
32、至少一个处理器；以及，
33、与所述至少一个处理器通信连接的存储器；其中，
34、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的移动机器人视觉惯性传感器融合方法。
35、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的移动机器人视觉惯性传感器融合方法。
36、本发明通过利用预设的融合视觉特征提取模型提取所述视觉图像的视觉特征，可以保证提取到的视觉特征的准确性以及全面性；另外，提取所述惯性测量数据的数据特征采用根据预设的处理速率对惯性测量数据进行数据嵌入处理，处理完成后得到嵌入惯性测量数据，可以实现在每个图像对中都有固定数量的惯性测量数据进行对应，保证视觉图像和惯性测量数据的同步，并保证惯性测量数据规格的统一性，提高惯性特征提取的准确性；另外，利用交叉注意力机制将所述视觉特征和惯性特征进行融合，可以使得融合特征为最相关的部分，从而提高处理效率和性能，此外，通过融合所述第一融合特征和运动特征，得到最终融合特征，可以实现将移动机器人的采集到的多种数据的特征进行融合，便于长时间精确地估计移动机器人的位置以及姿态，减少视觉图像中运动模糊和能见度损失的影响。
1.移动机器人视觉惯性传感器融合方法，其特征在于，所述方法包括：
2.如权利要求1所述的移动机器人视觉惯性传感器融合方法，其特征在于，所述利用预设的融合视觉特征提取模型提取所述视觉图像的视觉特征，包括：
3.如权利要求1所述的移动机器人视觉惯性传感器融合方法，其特征在于，所述提取所述惯性测量数据的数据特征，得到惯性特征，包括：
4.如权利要求1所述的移动机器人视觉惯性传感器融合方法，其特征在于，所述利用交叉注意力机制将所述视觉特征和惯性特征进行融合，包括：
5.如权利要求4所述的移动机器人视觉惯性传感器融合方法，其特征在于，所述将所述惯性特征作为所述交叉注意力机制中的查询，及将所述视觉特征作为所述交叉注意力机制中的键和值，并将所述查询、所述键以及所述值所述交叉注意力机制的输入数据，包括：
6.如权利要求5所述的移动机器人视觉惯性传感器融合方法，其特征在于，所述根据所述注意矩阵计算交叉注意力结果，包括：
7.如权利要求1所述的移动机器人视觉惯性传感器融合方法，其特征在于，所述根据所述姿态变换数据提取运动特征，包括：
8.一种移动机器人视觉惯性传感器融合装置，其特征在于，所述装置可以实现如权利要求1至7中任意一项所述的移动机器人视觉惯性传感器融合方法，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的移动机器人视觉惯性传感器融合方法。
