本发明涉及环境感知,尤其涉及的是一种车辆环境感知方法、装置、终端及存储介质。
背景技术:
1、随着辅助驾驶系统在车辆中的普及,客户对智能驾驶技术的要求也越来越高,尤其关注漏检、误检和位置精度这三大指标。其中,漏检可能引发安全风险,误检会导致不舒适的点刹或急刹车体验,而位置精度则直接影响功能的成功率。
2、以位置精度为例,在自动泊车功能中,车辆需要在狭窄的空间内精准停入目标位置;在行车辅助功能中,也经常遇到需要通过狭窄通道的场景。这些情况对感知模块提出了更高的要求,需要厘米级的近距离感知精度。目前,近距离感知主要依赖鱼眼相机等纯视觉方案,但其位置检测精度存在上限。为了提高精度,通常会使用超声波传感器(uss)进行辅助,因为超声波传感器基于声音传播的物理特性,在近距离感知方面具有一定优势。然而,现有的超声波感知和视觉感知融合方案大多采用后融合的方式。具体来说,视觉感知模块和超声波传感器感知模块分别输出环境信息,然后通过后处理融合模块进行对齐和融合。这种后融合方式需要人为判断在不同情况下更依赖于视觉感知还是超声波感知,并制定大量的规则和策略来处理各种情况,但现实情况复杂多变,这种方式难以面面俱到,最终导致车辆环境感知的准确性较低。
3、因此,现有技术存在缺陷,有待改进与发展。
技术实现思路
1、本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种车辆环境感知方法、系统及存储介质,旨在解决现有技术中车辆环境感知的准确性较低的问题。
2、本发明解决技术问题所采用的技术方案如下:
3、第一方面,本发明实施例提供一种车辆环境感知方法,所述方法包括:
4、分别获取车身上全部超声波传感器采集车辆环境得到的超声波环境数据,以及车身上全部视觉处理设备采集车辆环境得到的环境图像;
5、对所述超声波环境数据进行预处理,得到第二超声波环境数据;
6、将所述第二超声波环境数据和所述环境图像示输入待训练的融合模型,经所述融合模型处理,得到融合特征向量;
7、对所述融合特征向量进行处理,得到环境感知结果。
8、在一种实施方式中,所述超声波环境数据包括回波峰值、回波宽度、置信度和测量距离;所述对所述超声波环境数据进行预处理,得到第二超声波环境数据,包括:
9、对所述回波峰值、所述回波宽度、所述置信度和所述测量距离进行归一化处理,得到第二超声波环境数据。
10、在一种实施方式中,所述融合模型包括文本处理模块、图像处理模块和融合模块;所述将所述第二超声波环境数据和所述环境图像示输入待训练的融合模型,经所述融合模型处理,得到融合特征向量,包括:
11、将所述第二超声波环境数据输入所述文本处理模块,经所述文本处理模块处理,输出文本特征向量;
12、将所述环境图像输入所述图像处理模块,经所述图像处理模块处理,输出图像特征向量;
13、将所述文本特征向量和所述图像特征向量输入所述融合模块,经所融合模块利用交叉注意力机制进行融合处理,得到融合特征向量。
14、在一种实施方式中,所述文本处理模块包括多层感知网络和自注意力模块;所述将所述第二超声波环境数据输入所述文本处理模块,经所述文本处理模块处理,输出文本特征向量,包括:
15、将所述第二超声波环境数据输入所述多层感知网络,经所述多层感知网络处理,得到初始文本特征向量;
16、将所述初始文本特征向量输入所述自注意力模块,经所述自注意力模块进行处理,得到文本特征向量。
17、在一种实施方式中,所述图像处理模块包括卷积神经网络编码器和形式转换模块;所述将所述环境图像输入所述图像处理模块,经所述图像处理模块处理,输出图像特征向量,包括:
18、将所述环境图像输入所述卷积神经网络编码器,经所述卷积神经网络编码器对所述环境图像进行特征提取,得到初步图像特征;
19、将所述初步图像特征输入所述形式转换模块,经所述形式转换模块处理,得到图像特征向量。
20、在一种实施方式中,所述对所述融合特征向量进行处理,得到环境感知结果,包括:
21、将所述融合特征向量输入预设的环境分析模型;
22、经所述环境分析模型处理,得到环境感知结果。
23、在一种实施方式中,所述视觉处理设备为鱼眼相机。
24、第二方面,本发明实施例还提供一种车辆环境感知装置,包括:
25、数据获取模块,用于分别获取车身上全部超声波传感器采集车辆环境得到的超声波环境数据,以及车身上全部视觉处理设备采集车辆环境得到的环境图像;
26、数据预处理模块,用于对所述超声波环境数据进行预处理,得到第二超声波环境数据;
27、特征融合模块,用于将所述第二超声波环境数据和所述环境图像示输入待训练的融合模型,经所述融合模型处理,得到融合特征向量;
28、环境感知模块,用于对所述融合特征向量进行处理,得到环境感知结果。
29、第三方面,本发明实施例还提供一种终端,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆环境感知程序,所述车辆环境感知程序被所述处理器执行时实现如上所述的车辆环境感知方法的步骤。
30、第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有车辆环境感知程序,所述车辆环境感知程序能够被执行以用于实现如上所述的车辆环境感知方法的步骤。
31、本发明的有益效果:本发明通过分别获取车身上全部超声波传感器采集车辆环境得到的超声波环境数据,以及车身上全部视觉处理设备采集车辆环境得到的环境图像;对所述超声波环境数据进行预处理,得到第二超声波环境数据;将所述第二超声波环境数据和所述环境图像示输入待训练的融合模型,经所述融合模型处理,得到融合特征向量;对所述融合特征向量进行处理,得到环境感知结果。本发明待训练的融合模型对超声波环境数据和环境图像进行特征融合,再基于融合的特征进行环境感知,可更准确的捕捉环境信息,有效提高了车辆环境感知的准确性。
1.一种车辆环境感知方法,其特征在于,所述方法包括:
2.根据权利要求1所述的车辆环境感知方法,其特征在于,所述超声波环境数据包括回波峰值、回波宽度、置信度和测量距离;所述对所述超声波环境数据进行预处理,得到第二超声波环境数据,包括:
3.根据权利要求2所述的车辆环境感知方法,其特征在于,所述融合模型包括文本处理模块、图像处理模块和融合模块;所述将所述第二超声波环境数据和所述环境图像示输入待训练的融合模型,经所述融合模型处理,得到融合特征向量,包括:
4.根据权利要求3所述的车辆环境感知方法,其特征在于,所述文本处理模块包括多层感知网络和自注意力模块;所述将所述第二超声波环境数据输入所述文本处理模块,经所述文本处理模块处理,输出文本特征向量,包括:
5.根据权利要求3所述的车辆环境感知方法,其特征在于,所述图像处理模块包括卷积神经网络编码器和形式转换模块;所述将所述环境图像输入所述图像处理模块,经所述图像处理模块处理,输出图像特征向量,包括:
6.根据权利要求1所述的车辆环境感知方法,其特征在于,所述对所述融合特征向量进行处理,得到环境感知结果,包括:
7.根据权利要求1所述的车辆环境感知方法,其特征在于,所述视觉处理设备为鱼眼相机。
8.一种车辆环境感知装置,其特征在于,包括:
9.一种终端,其特征在于,所述终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的车辆环境感知程序,所述车辆环境感知程序被所述处理器执行时实现如权利要求1-7任意一项所述车辆环境感知方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有车辆环境感知程序,所述车辆环境感知程序能够被执行以用于实现如权利要求1-7任意一项所述的车辆环境感知方法的步骤。
