本技术涉及导航领域，特别是涉及一种基于跨视角时空建模的车机协同导航方法、装置及设备。
背景技术：
1、现实的室外场景常常具有复杂的交通情况和环境条件，单一的导航方式难以应对。无人车和无人机协同导航可以结合地面和空中信息进行路径规划和导航决策，全方位应对各种复杂情况，从而提高导航的效率和安全性。在交通事故等紧急情况下，无人机可以快速到达现场，提供实时的空中视角观测数据和救援指引。而无人车负责执行地面物资运输等任务，可以借助无人机的空中数据，避开交通拥堵和障碍物，动态规划到达任务现场的最优路径。这提高了响应速度，可以提供更快速的救援和物资运输，有助于减少事故伤亡和财产损失。
2、具体来说，在单一系统的导航模式下，无人车(unmanned groundvehicle，ugv)仅能通过地面的前向视角(frontview，fv)观测局部环境，而无人机(unmannedaerialvehicle，uav)可以通过其更高的位置提供空中的鸟瞰视角(bird’s eyeview，bev)观测来获得更全局的环境感知。在ugv和uav协同完成任务的应用中，允许uav为ugv提供动态环境的空中实时观测数据。这扩大了ugv的可观测空间，提高了导航系统的智能化水平和应对复杂动态场景的能力。
3、然而，来自bev和fv的两种不同视角感知信息存在空间不一致、数据体量大、数据冗余等问题。在传统的基于学习的自主导航方法上，没有明确对两个视角的观测数据进行筛选与融合建模。而只是简单地将这两部分信息拼接后给到策略网络，寄希望于学习到的策略具有隐式编码这些感知信息能力，从而自动建立起这些信息之间联系，这是极其困难的。因为在稀疏奖励下，基于图像输入的强化学习样本效率低下，资源消耗大，学习缓慢。现有的研究表明，给策略一个好的智能体状态表示能够提升训练效率。在自主导航任务中，若强化学习可以访问一个更精确的环境状态表示，则模型训练也可以更高效。
4、对环境进行有效建模是当前的主流方法，主要分为三类：其一是以图的形式建立空间的拓扑表示；其二是使用语义分割的中级语义表示环境；其三是将场景图作为环境的高级表示。但这些方法目前没有在车机协同应用场景中做出相关探索。因为这面临着另一个挑战，不同视角的观测存在空间跨度与冗余，需要建立起它们的联系才能实现对环境的统一建模。
5、综上，在复杂动态的室外环境，无人车和无人机协同导航任务可以提升应急响应速度和安全性。但目前的方法缺乏将不同视角数据有效融合的模型，导致强化学习过程中难以提取有效信息，学习效率低下。构建综合地面和空中观测数据的有效环境表示可以提升策略学习效率，需要在车机协同场景中的做出进一步探索。
技术实现思路
1、本技术的目的是提供一种基于跨视角时空建模的车机协同导航方法、装置及设备，可增强智能体对场景的理解，实现智能体感知与决策的一致性，提升无人车的自主导航能力。
2、为实现上述目的，本技术提供了如下方案：
3、第一方面，本技术提供了一种基于跨视角时空建模的车机协同导航方法，包括：
4、获取目标场景的鸟瞰视角图像、前向视角图像及雷达点云数据；
5、根据所述鸟瞰视角图像，对所述目标场景的语义信息和几何信息进行编码，构建鸟瞰视角场景图；所述鸟瞰视角场景图包括节点集和边集；所述节点集中的节点表示所述目标场景中的实体或道路；所述边集中的边表示两个节点间的关系；
6、基于图神经网络对所述鸟瞰视角场景图进行学习和推理，提取鸟瞰视角空间特征；
7、分别对所述前向视角图像及所述雷达点云数据进行特征提取，得到前向视角图像特征及雷达特征，并对所述前向视角图像特征及所述雷达特征进行特征融合，得到前向视角空间特征；
8、将所述鸟瞰视角空间特征与所述前向视角空间特征对齐，得到鸟瞰视角空间特征序列及前向视角特征序列；
9、分别对所述鸟瞰视角空间特征序列及所述前向视角特征序列加入时间上的关联信息，得到鸟瞰视角时空特征及前向视角时空特征；
10、将所述鸟瞰视角时空特征与所述前向视角时空特征进行融合，得到跨视角时空特征；
11、根据所述跨视角时空特征，采用预先训练好的强化学习模型，确定智能体所需执行的动作；所述动作包括运行速度和转动角度。
12、第二方面，本技术提供了一种基于跨视角时空建模的车机协同导航装置，包括：
13、数据获取模块，用于获取目标场景的鸟瞰视角图像、前向视角图像及雷达点云数据；
14、场景图构建模块，与所述数据获取模块连接，用于根据所述鸟瞰视角图像，对所述目标场景的语义信息和几何信息进行编码，构建鸟瞰视角场景图；所述鸟瞰视角场景图包括节点集和边集；所述节点集中的节点表示所述目标场景中的实体；所述边集中的边表示两个节点间的关系；
15、鸟瞰特征提取模块，与所述场景图构建模块连接，用于基于图神经网络对所述鸟瞰视角场景图进行学习和推理，提取鸟瞰视角空间特征；
16、前向特征提取模块，与所述数据获取模块连接，用于分别对所述前向视角图像及所述雷达点云数据进行特征提取，得到前向视角图像特征及雷达特征，并对所述前向视角图像特征及所述雷达特征进行特征融合，得到前向视角空间特征；
17、特征对齐模块，分别与所述鸟瞰特征提取模块及所述前向特征提取模块连接，用于对所述鸟瞰视角空间特征与所述前向视角空间特征进行对齐，得到鸟瞰视角空间特征序列及前向视角特征序列；
18、时空特征提取模块，与所述特征对齐模块连接，用于分别对所述鸟瞰视角空间特征序列及所述前向视角特征序列加入时间上的关联信息，得到鸟瞰视角时空特征及前向视角时空特征；
19、特征融合模块，与所述时空特征提取模块连接，用于将所述鸟瞰视角时空特征与所述前向视角时空特征进行融合，得到跨视角时空特征；
20、强化学习模块，与所述特征融合模块连接，用于根据所述跨视角时空特征，采用预先训练好的强化学习模型，确定智能体下一步所需执行的动作；所述动作包括运行速度和转动角度。
21、第三方面，本技术提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述的基于跨视角时空建模的车机协同导航方法。
22、根据本技术提供的具体实施例，本技术公开了以下技术效果：
23、本技术提供了一种基于跨视角时空建模的车机协同导航方法、装置及设备，通过鸟瞰视角场景图的方式显示编码鸟瞰视角图像中的语义信息和几何信息，基于图神经网络对鸟瞰视角场景图进行学习和推理，实现全局环境的空间建模，结合前向视角图像和雷达点云数据实现局部环境的空间建模，将鸟瞰视角空间特征与前向视角空间特征对齐，之后将两个视角的空间特征加入时间关联信息并融合得到跨视角时空特征，实现了将不同视角的信息融合，有效关联了全局与局部的时空特征，最后采用强化学习模型确定智能体所需执行的动作，增强了智能体对场景的理解，实现智能体感知与决策的一致性，提升了无人车的自主导航能力。
1.一种基于跨视角时空建模的车机协同导航方法，其特征在于，所述基于跨视角时空建模的车机协同导航方法包括：
2.根据权利要求1所述的基于跨视角时空建模的车机协同导航方法，其特征在于，获取目标场景的鸟瞰视角图像、前向视角图像及雷达点云数据，具体包括：
3.根据权利要求1所述的基于跨视角时空建模的车机协同导航方法，其特征在于，根据所述鸟瞰视角图像，对所述目标场景的语义信息和几何信息进行编码，构建鸟瞰视角场景图，具体包括：
4.根据权利要求1所述的基于跨视角时空建模的车机协同导航方法，其特征在于，所述图神经网络基于图卷积网络和图注意力网络构建。
5.根据权利要求1所述的基于跨视角时空建模的车机协同导航方法，其特征在于，分别对所述前向视角图像及所述雷达点云数据进行特征提取，得到前向视角图像特征及雷达特征，并对所述前向视角图像特征及所述雷达特征进行特征融合，得到前向视角空间特征，具体包括：
6.根据权利要求1所述的基于跨视角时空建模的车机协同导航方法，其特征在于，将所述鸟瞰视角空间特征与所述前向视角空间特征对齐，得到鸟瞰视角空间特征序列及前向视角特征序列，具体包括：
7.根据权利要求1所述的基于跨视角时空建模的车机协同导航方法，其特征在于，分别对所述鸟瞰视角空间特征序列及所述前向视角特征序列加入时间上的关联信息，得到鸟瞰视角时空特征及前向视角时空特征，具体包括：
8.根据权利要求1所述的基于跨视角时空建模的车机协同导航方法，其特征在于，将所述鸟瞰视角时空特征与所述前向视角时空特征进行融合，得到跨视角时空特征，具体包括：
9.一种基于跨视角时空建模的车机协同导航装置，应用于权利要求1-8中任一项所述的基于跨视角时空建模的车机协同导航方法，其特征在于，所述基于跨视角时空建模的车机协同导航装置包括：
10.一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-8中任一项所述的基于跨视角时空建模的车机协同导航方法。
