一种自动泊车超声波雷达和摄像头感知目标融合方法与流程

    技术2024-11-28  15


    本发明涉及自动泊车,具体为一种自动泊车超声波雷达和摄像头感知目标融合方法。


    背景技术:

    1、自动泊车中需要周围的目标的类型和位置,以供车辆感知周边环境,规划路径。自动泊车中对于目标识别可通过多种传感器,有通过超声波雷达,摄像头,毫米波雷达和激光雷达的方式。但各自都有其局限性,无法准确的感知目标的属性。超声波感知目标,可根据车身的定位和其回波,感知障碍物的距离以及其横向的轮廓,但是无法确定目标的类型,和垂直方向的位置。摄像头感知目标,通过网络算法可以得出障碍物的类型,但是其位置距离的精度低。

    2、单一传感器的检测技术已不满足车辆的感知要求,车辆上越来越多种类及数量的传感器用于车辆进行环境感知。现有的传感器精度,优劣势都不同,如超声波雷达可以精确感知目标距离,但无法识别其类型;摄像头可感知目标的类型,尺寸,但是对其位置的判定精度不够;激光雷达精度高,但是价格昂贵。

    3、为此我们提出一种自动泊车超声波雷达和摄像头感知目标融合方法,融合超声波雷达和摄像头两个感知的结果,通过多传感器融合算法来结合各传感器的优点,提高目标感知的精度和可靠度。


    技术实现思路

    1、本发明的目的在于提供一种自动泊车超声波雷达和摄像头感知目标融合方法,具备融合超声波雷达和摄像头两个感知的结果,通过多传感器融合算法来结合各传感器,提高目标感知的精度和可靠度的优点,解决了目前单纯的超声波雷达或摄像头对目标感知存在局限性的问题。

    2、为实现上述目的,本发明提供如下技术方案:一种自动泊车超声波雷达和摄像头感知目标融合方法,其方法包括如下步骤:

    3、s1:超声波雷达和摄像头分别采集相关数据;

    4、s2:处理超声波雷达的采集数据,首先根据超声波雷达的目标距离以及车的定位数据得到目标坐标,然后组成目标横向的轮廓线,计算得出目标障碍物两侧边缘的坐标;

    5、s3:处理摄像头的采集数据,网络算法根据摄像头的图像识别,图像目标类型和其轮廓顶点的坐标,得到目标的两侧边缘坐标;

    6、s4:视觉多次检测到的目标边缘坐标进行卡尔曼滤波,输出视觉的目标边缘坐标位置;

    7、s5:将雷达和视觉两者得出的目标边缘坐标根据权重进行融合。

    8、优选的,所述步骤s1中,超声波雷达采集数据时通过收发波,获取目标的距离,摄像头采集图像数据。

    9、优选的,所述步骤s2中,超声波雷达的数据处理流程如下:

    10、s2.1:获取超声波雷达探测到的目标障碍物的距离d;

    11、s2.2:根据超声波雷达在车上的安装坐标(xr,yr),雷达发波的中轴线与车中轴线的夹角θ,和目标障碍物的距离d,可计算出目标障碍物基于车身的坐标(xo1,yo1);

    12、s2.3:根据车在世界坐标系下的坐标(xv,yv),将目标障碍物基于车身的坐标(xo1,yo1)转换成基于世界坐标系下的坐标(xo2,yo2);

    13、s2.4:车辆行进中,连续计算生成目标障碍物坐标,由这些连续的目标障碍物坐标组成目标的横向的轮廓线;

    14、s2.5:根据目标障碍物的轮廓云,计算得出目标障碍物两侧边缘的坐标。

    15、优选的,所述步骤s3中,摄像头的数据处理流程如下:

    16、s3.1:车上的前后左右4个鱼眼摄像头采集周边环境图像;

    17、s3.2:使用yolo算法根据目标特征分别从4个鱼眼图中识别出目标,输出目标的类型和框住目标的方形框的4个顶点的像素坐标(xo2,yo2);

    18、s3.3:根据像素坐标和基于车身坐标系的坐标映射关系,将目标的轮廓顶点的像素坐标转换成基于车身坐标系的坐标(xo2,yo2);

    19、s3.4:根据车在世界坐标系下的坐标(xv,yv),将目标障碍物基于车身的坐标(x2,y2)转换成基于世界坐标系下的坐标(x3,y3),取距离车近的2个顶点作为目标的两侧边缘坐标。

    20、优选的,所述步骤s4中,输出视觉的目标边缘坐标位置流程如下:

    21、s4.1:取上次的最优估计值作为预测的这次检测到的目标边缘;

    22、s4.2:根据上次的最优估计值协方差和超参数q推出这次预测值协方差;

    23、s4.3:根据这次预测值协方差和超参数r推出卡尔曼增益;

    24、s4.4:这次预测值和这次观测值、卡尔曼增益推出这一时刻最优估计值;

    25、s4.5:这次的预测值协方差、卡尔曼增益推出这一时刻最优估计值协方差。

    26、优选的,所述步骤s5中,目标边缘坐标根据权重进行融合流程如下:

    27、s5.1:对于目标的距离计算时雷达的数据权重较大;

    28、s5.2:对于目标的中心位置计算时视觉的数据权重稍大些;

    29、s5.3:对于目标的宽度计算时视觉的数据权重较大;

    30、s5.4:根据目标距离车辆的距离,中心位置以及宽度,计算出最终的目标的两侧的边缘坐标。

    31、与现有技术相比,本发明的有益效果如下:

    32、1、本发明通过提出自动泊车超声波雷达和摄像头感知目标融合方法,具备融合超声波雷达和摄像头两个感知的结果,通过多传感器融合算法来结合各传感器,提高目标感知的精度和可靠度的优点,解决了目前单纯的超声波雷达或摄像头对目标感知存在局限性的问题。

    33、2、针对超声波雷达其物体的距离检测更为准确,但是由于其发出的超声波是个扇形区域,所以其对于物体的边缘检测精度低,因此避免了单纯的超声波雷达或摄像头对目标感知的局限性。

    34、3、视觉检测输出的目标框图因为是长方形,所以并不会和目标边缘完全贴合,且受到目标与摄像头相对位置影响,其边缘贴合程度也不同,所以其对目标的距离识别误差较大,但宽度较为准确,并且由于是卡尔曼滤波,所以中心位置也较为准确,且摄像头受光照环境影响较大,该算法结合两者的优势,提高了目标的检测准确度和精度,视觉检测的目标进行卡尔曼滤波输出更为准确的数据,结合摄像头和超声波雷达的优点以融合两者的数据。



    技术特征:

    1.一种自动泊车超声波雷达和摄像头感知目标融合方法,其特征在于:其方法包括如下步骤:

    2.根据权利要求1所述的一种自动泊车超声波雷达和摄像头感知目标融合方法,其特征在于:所述步骤s1中,超声波雷达采集数据时通过收发波,获取目标的距离,摄像头采集图像数据。

    3.根据权利要求1所述的一种自动泊车超声波雷达和摄像头感知目标融合方法,其特征在于:所述步骤s2中,超声波雷达的数据处理流程如下:

    4.根据权利要求1所述的一种自动泊车超声波雷达和摄像头感知目标融合方法,其特征在于:所述步骤s3中,摄像头的数据处理流程如下:

    5.根据权利要求1所述的一种自动泊车超声波雷达和摄像头感知目标融合方法,其特征在于:所述步骤s4中,输出视觉的目标边缘坐标位置流程如下:

    6.根据权利要求1所述的一种自动泊车超声波雷达和摄像头感知目标融合方法,其特征在于:所述步骤s5中,目标边缘坐标根据权重进行融合流程如下:


    技术总结
    本发明涉及自动泊车技术领域,尤其为一种自动泊车超声波雷达和摄像头感知目标融合方法,其方法包括如下步骤:超声波雷达和摄像头分别采集相关数据;处理超声波雷达的采集数据,首先根据超声波雷达的目标距离以及车的定位数据得到目标坐标,然后组成目标横向的轮廓线,计算得出目标障碍物两侧边缘的坐标。本发明通过提出自动泊车超声波雷达和摄像头感知目标融合方法,具备融合超声波雷达和摄像头两个感知的结果,通过多传感器融合算法来结合各传感器,提高目标感知的精度和可靠度的优点,视觉检测的目标进行卡尔曼滤波输出更为准确的数据,结合摄像头和超声波雷达的优点以融合两者的数据。

    技术研发人员:张常宏
    受保护的技术使用者:苏州寅宇电子科技有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-22669.html

    最新回复(0)