本发明涉及目标跟踪,具体而言,涉及一种基于模糊选择的单目视觉测距融合方法及系统。
背景技术:
1、在智能驾驶系统中,单目视觉感知目标距离与速度的精度是感知环节的重要性能指标。一方面,在工程中实际硬件算力的约束下,单目视觉难以直接获取测速结果,需要从距离信息中获取速度分量,从而对速度的要求转化为对测距结果有着更高的精度需求,另一方面,目标的测距与测速信息作为后续功能决策、规划控制环节的关键输入,直接影响着智能驾驶系统的性能。
2、当前在目标跟踪过程中,往往采用根据目标在图像中的像素宽度进行换算的方式确定测距结果,然而在实际应用中,图像可能出现模糊,目标检测和像素宽度的计算可能不够准确,导致测距和测速结果不稳定,进而影响目标跟踪效果,影响着智能驾驶系统的性能。
技术实现思路
1、本发明的主要目的在于提供一种基于模糊选择的单目视觉测距融合方法及系统,以解决现有技术中图像可能出现模糊,目标检测和像素宽度的计算可能不够准确,导致测距和测速结果不稳定,进而影响目标跟踪效果,影响着智能驾驶系统的性能的问题。
2、为了实现上述目的,根据本发明的一个方面,提供了一种基于模糊选择的单目视觉测距融合方法,包括:
3、s1:获取图像数据;
4、s2:根据所述图像数据,获取投影测距结果;
5、s3:根据所述图像数据,获取目标框宽度测距结果;
6、s4:对所述投影测距结果与所述目标框宽度测距结果进行加权融合,得到融合测距结果;
7、s5:对目标车辆进行匹配滤波跟踪,构建目标轨迹,所述目标轨迹记录有各帧图像中的所述投影测距结果、所述目标框宽度测距结果以及所述融合测距结果;
8、s6:通过瞬态校正,计算当前帧的外参变化值;
9、s7:根据所述外参变化值,通过模糊选择,确定所述投影测距结果、所述目标框宽度测距结果以及所述融合测距结果中的最优测距结果,作为后续跟踪滤波的观测量。
10、进一步地,所述s2具体包括:
11、s201:使用车辆检测深度学习模型,获取目标车辆在当前帧图像中的车尾框坐标;
12、s202:获取相机内参与外参;
13、s203:基于相机内参与外参,通过逆透视变换,将车尾框底边的中点投影至载体坐标系下,得到投影测距结果。
14、进一步地,所述s3具体包括:
15、s301:使用车辆检测深度学习模型,获取目标车辆在当前帧图像中的车尾框像素宽度;
16、s302:根据所述车尾框像素宽度,基于预设的先验实际物理宽度,计算所述目标框宽度测距结果:
17、
18、其中,xw表示目标框宽度测距结果,fx表示相机内参焦距,wpre表示先验实际物理宽度,w表示车尾框像素宽度。
19、进一步地,所述s4具体为:
20、根据以下公式,对所述投影测距结果与所述目标框宽度测距结果进行加权融合:
21、xf=βxp+(1-β)xw
22、其中,xf表示融合测距结果,xp表示投影测距结果,xw表示目标框宽度测距结果,β表示投影测距结果的权重系数。
23、进一步地,所述s7中的通过模糊选择,确定所述投影测距结果、所述目标框宽度测距结果以及所述融合测距结果中的最优测距结果,具体包括:
24、s701:构建评价因素集u={检测值与预测值接近程度、基于历史检测结果当前值是否跳变、外参变化、目标远近};
25、s702:构建评价集v={可用,无法判断,不可用};
26、s703:构建各个评价因素的权重向量a={a1、a2、a3、a4},a1+a2+a3+a4=1,a1表示检测值与预测值接近程度的权重,a2表示基于历史检测结果当前值是否跳变的权重,a3表示外参变化的权重,a4表示目标远近的权重;
27、s704:对所述投影测距结果xp、所述目标框宽度测距结果xw以及所述融合测距结果xf分别依据各个评价因素进行评价,得到评价矩阵r={r1、r2、r3、r4},r1表示检测值与预测值接近程度的评价结果,r2表示基于历史检测结果当前值是否跳变的评价结果,r3表示外参变化的评价结果,r4表示目标远近的评价结果;
28、s705:根据各个评价因素的权重向量以及评价矩阵,计算综合模糊评价向量:
29、b=ar
30、其中,b表示综合模糊评价向量,a表示各个评价因素的权重向量,r表示评价矩阵;
31、s706:确定所述综合模糊评价向量中概率最高的值对应的测距结果为所述最优测距结果。
32、进一步地,所述检测值与预测值接近程度的评价结果r1具体为:
33、基于目标匀速运动模型预测当前帧的目标距离值,确定各个测距结果在检测值与预测值接近程度这一因素下的不可用概率:
34、
35、其中,rei表示第i种测距结果的不可用概率,min表示取最小值,abs表示取绝对值,xi表示第i种测距结果,i=1,2,3,分别表示投影测距结果xp、目标框宽度测距结果xw以及融合测距结果xf,xest表示目标通过预测估计距离值,rt表示最大误差比例;
36、根据各个测距结果的不可用概率,计算检测值与预测值接近程度的评价结果r1:
37、r1=[1-rei,0,rei]。
38、进一步地,所述基于历史检测结果当前值是否跳变的评价结果r2具体为:
39、根据测距结果的方差与平均值,确定各个测距结果在基于历史检测结果当前值是否跳变这一因素下的不可用概率:
40、
41、其中,rei表示第i种测距结果的不可用概率,min表示取最小值,abs表示取绝对值,xi表示第i种测距结果,i=1,2,3,分别表示投影测距结果xp、目标框宽度测距结果xw以及融合测距结果xf,xmi表示第i种测距结果的平均值,max表示取最大值,δi表示第i种测距结果的方差;
42、根据各个测距结果的不可用概率,计算基于历史检测结果当前值是否跳变的评价结果r2:
43、r2=[1-rei,0,rei]。
44、进一步地,所述外参变化的评价结果r3具体为:
45、根据外参变化值的最大阈值,采用指派方式,确定各个测距结果在基于历史检测结果当前值是否跳变这一因素下的不可用概率:
46、
47、其中,re表示测距结果的不可用概率,δp表示根据测距结果计算的外参变化值,θ表示外参变化值的最大阈值;
48、根据各个测距结果的不可用概率,计算外参变化的评价结果r3:
49、r3=[1-rei,0,rei]。
50、进一步地,所述目标远近的评价结果r4具体为:
51、设置目标纵向距离范围:range=[0,5,20,60,80,100,150,200,250]m,以及不同距离范围下可用概率:
52、所述投影测距结果xp在不同距离范围下可用概率:
53、rxp=[0.3,0.4,0.8,0.8,0.9,0.75,0.6,0.2,0.1];
54、所述目标框宽度测距结果xw在不同距离范围下可用概率:
55、rxw=[1,1,0.9,0.8,0.9,0.85,0.8,0.6,0.6];
56、所述融合测距结果xf在不同距离范围下可用概率:
57、rxf=[0.8,0.9,1,1,1,0.95,0.9,0.5,0.5];
58、根据目标通过预测估计当前帧距离值,计算各个测距结果的可用概率ri;
59、根据各个测距结果的可用概率,计算检测值与预测值接近程度的评价结果r4:
60、r4=[ri,0,1-ri];
61、其中,ri表示第i种测距结果的可用概率。
62、根据本发明的一个方面,提供了一种基于模糊选择的单目视觉测距融合系统,包括:
63、处理器;
64、存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现上述的基于模糊选择的单目视觉测距融合方法。
65、应用本发明的技术方案,可以多方面地获取投影测距结果、目标框宽度测距结果以及融合测距结果,通过模糊选择,从中确定最优测距结果作为后续跟踪滤波的观测量,避免仅根据像素宽度进行测距,降低图像模糊的影响,提升测距精度,提升目标跟踪效果,提升智能驾驶系统的性能。
66、除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照图,对本发明作进一步详细的说明。
1.一种基于模糊选择的单目视觉测距融合方法,其特征在于,包括:
2.根据权利要求1所述的基于模糊选择的单目视觉测距融合方法,其特征在于,所述s2具体包括:
3.根据权利要求1所述的基于模糊选择的单目视觉测距融合方法,其特征在于,所述s3具体包括:
4.根据权利要求1所述的基于模糊选择的单目视觉测距融合方法,其特征在于,所述s4具体为:
5.根据权利要求1所述的基于模糊选择的单目视觉测距融合方法,其特征在于,所述s7中的通过模糊选择,确定所述投影测距结果、所述目标框宽度测距结果以及所述融合测距结果中的最优测距结果,具体包括:
6.根据权利要求5所述的基于模糊选择的单目视觉测距融合方法,其特征在于,所述检测值与预测值接近程度的评价结果r1具体为:
7.根据权利要求5所述的基于模糊选择的单目视觉测距融合方法,其特征在于,所述基于历史检测结果当前值是否跳变的评价结果r2具体为:
8.根据权利要求5所述的基于模糊选择的单目视觉测距融合方法,其特征在于,所述外参变化的评价结果r3具体为:
9.根据权利要求5所述的基于模糊选择的单目视觉测距融合方法,其特征在于,所述目标远近的评价结果r4具体为:
10.一种基于模糊选择的单目视觉测距融合系统,其特征在于,包括:
