本发明涉及智能驾驶,具体涉及环境感知技术,特别涉及一种交叉口环境下基于三维点云的智能网联汽车协同感知方法。
背景技术:
1、城市复杂交叉口环境下,智能网联汽车由于受车载传感器探测距离限制和遮挡影响,往往难以仅依赖自车环境感知传感器准确检测周围运动目标。基于三维点云的协同感知方法能够通过融合来自多个智能网联汽车的点云信息提高车辆环境认知水平,有效克服单车智能感知的局限性。
2、已有的协同感知方法存在通信传输效率低、复杂交叉口场景下智能体时空状态不同步等问题。中国专利申请公开号cn 117956507 a的专利公开了一种智能网联汽车协同感知及数据融合方法,该方法通过双层协同感知和多源异质数据融合网络模型实现智能网联汽车多智能体群体协同感知和融合任务的卸载优化,但并未考虑通信带宽限制问题,在处理通信延迟不确定性方面有待提升。中国专利申请公开号cn 116893424 a的专利公开了一种基于激光雷达的多车协同感知方法、装置及存储介质,该方法提出自车先对协同车发送的点云信息进行精配准再结合自车点云进行信息融合,虽能缩小单车感知的视野盲区,但协同车原始点云精配准使得点云传输量过大,网络通信带宽难以满足传输需求,导致不可避免地出现通信延迟,交叉口环境下智能网联汽车接收到的环境点云信息与当前时刻实际环境状态信息出现时空不同步。
技术实现思路
1、针对现有技术不足,本发明提供一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,用以缓解通信延迟带来滞后效应,提高目标检测性能。
2、本发明采用的技术方案步骤如下:
3、一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,所述方法包括如下步骤:
4、s1、建立各车坐标系,将周围车辆cav2采集的点云坐标转换到自车cav1的坐标系下;
5、s2、采用体柱特征提取网络处理各车点云原始数据,提取点云局部空间特征;
6、s3、利用v2x通信将cav2采集到的特征传输给cav1;
7、s4、通过时间特征延迟补偿模块捕捉点云特征序列时间依赖性并预测特征状态变化,减小因网络通信传输延迟导致的特征滞后效应;
8、s5、通过空间特征信息融合补偿模块融合多个车辆视角下的多分辨率空间特征信息,扩大环境感知区域范围;
9、s6、通过全连接层输出车辆目标置信度、包围盒中心点坐标、几何尺寸以及航向角等参数信息。
10、优选的,所述步骤s1中,坐标转换流程为:将自车cav1和周围车辆cav2的本地笛卡尔坐标系分别用x1o1y1和x2o2y2表示,当周围车辆cav2驶入有效通信范围内,自车cav1将其位姿状态信息发送给cav2,结合两车间相对位姿信息计算变换矩阵t,利用t将cav2采集的点云p2投影到cav1坐标系下,得到转换后的点云p′1,使两车点云状态空间同步。
11、优选的,所述步骤s2中,将各车几何中心作为中心点,以cav1运动方向[ymin,ymax],水平方向[xmin,xmax]为兴趣区域,划分大小均匀的网格,网格尺寸设为m,采用pointpillar方法提取网格内垂直方向无高度约束限制的体柱点云特征,生成尺寸为(h,w,c)的伪图像特征f。
12、优选的,所述步骤s3中,特征传输过程为:将cav2特征图尺寸压缩至(h,w,c′),并将其通过v2x通信网络发送到cav1,cav1将接收到的特征fv的尺寸投影回(h,w,c)。
13、优选的,所述步骤s4中,将cav2点云历史帧特征序列作为输入,通过convlstm算法预测未来时刻特征,实现两车点云状态时间同步。
14、优选的,所述convlstm网络损失函数为:
15、
16、其中,yt和分别代表t时刻真实特征和预测特征。
17、优选的,所述步骤s5中,空间特征信息融合补偿模块包括:跨车辆特征信息聚合子模块、多分辨率特征提取子模块和多尺度特征融合子模块;
18、所述跨车辆特征信息聚合子模块用于对齐并拼接两车伪图像特征;所述多分辨率特征提取子模块用于捕获目标细节和全局语义信息,全面感知不同尺寸的障碍物目标;所述多尺度特征融合子模块结合浅层和深层特征优势进行多尺度特征融合,生成具有丰富语义信息的特征表达。
19、优选的,跨车辆特征信息聚合过程为:划定高度h1、宽度w1的候选聚合区域(h1>h,w1>w),计算两伪图像特征的重叠区域,并对重叠区域采用maxout操作进行通道级别对齐聚合。
20、优选的,所述多分辨率特征提取网络包括四轮提取操作,分别提取浅层特征f1和深层特征f2、f3、f4。
21、优选的,所述多尺度特征融合子模块采用双向多尺度信息特征金字塔网络对不同分辨率特征进行融合,卷积融合计算如下:
22、
23、其中,ii为输入特征,o为加权特征融合后的输出值,wi和wj为可学习权重,ε=0.001。
24、本发明具有如下有益效果:
25、本发明所设计的基于convlstm的时间延迟补偿模块具有时空序列数据预测能力,能够提取目标空间信息,使cav1根据所接收到的车辆历史特征预测其未来时刻的特征,减小因网络延迟所引起的滞后效应,提高车辆对动态场景的感知能力。
26、本发明所设计的空间特征信息融合补偿模块包括跨车辆特征信息聚合、多分辨率特征提取、多尺度特征融合三个子模块,用于融合来自周围车辆的环境点云特征,有效增强网络对点云局部细粒度信息与全局上下文信息的理解能力。
1.一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述方法包括如下步骤:
2.根据权利要求1所述的一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述步骤s1中,坐标转换流程为:将自车cav1和周围车辆cav2的本地笛卡尔坐标系分别用x1o1y1和x2o2y2表示,当周围车辆cav2驶入有效通信范围内,自车cav1将其位姿状态信息发送给cav2,结合两车间相对位姿信息计算变换矩阵t,利用t将cav2采集的点云p2投影到cav1坐标系下,得到转换后的点云p′1,使两车点云状态空间同步。
3.根据权利要求1所述的一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述步骤s2中,将各车几何中心作为中心点,以cav1运动方向[ymin,ymax],水平方向[xmin,xmax]为兴趣区域,划分大小均匀的网格,网格尺寸设为m,采用pointpillar方法提取网格内垂直方向无高度约束限制的体柱点云特征,生成尺寸为(h,w,c)的伪图像特征f。
4.跟据权利要求1所述的一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述步骤s3中,特征传输过程为:将cav2特征图尺寸压缩至(h,w,c′),并将其通过v2x通信网络发送到cav1,cav1将接收到的特征fv的尺寸投影回(h,w,c)。
5.根据权利要求1所述的一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述步骤s4中,将cav2点云历史帧特征序列作为输入,通过convlstm算法预测未来时刻特征,实现两车点云状态时间同步。
6.根据权利要求5所述的一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述convlstm网络损失函数为:
7.根据权利要求1所述的一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述步骤s5中,空间特征信息融合补偿模块包括:跨车辆特征信息聚合子模块、多分辨率特征提取子模块和多尺度特征融合子模块;所述跨车辆特征信息聚合子模块用于对齐并拼接两车伪图像特征;所述多分辨率特征提取子模块用于捕获目标细节和全局语义信息,全面感知不同尺寸的障碍物目标;所述多尺度特征融合子模块结合浅层和深层特征优势进行多尺度特征融合,生成具有丰富语义信息的特征表达。
8.根据权利要求7所述的一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,跨车辆特征信息聚合过程为:划定高度h1、宽度w1的候选聚合区域(h1>h,w1>w),计算两伪图像特征的重叠区域,并对重叠区域采用maxout操作进行通道级别对齐聚合。
9.根据权利要求7所述的一种交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述多分辨率特征提取网络包括四轮提取操作,分别提取浅层特征f1和深层特征f2、f3、f4。
10.根据权利要求7所述的交叉口环境下基于三维点云的智能网联汽车协同感知方法,其特征在于,所述多尺度特征融合子模块采用双向多尺度信息特征金字塔网络对不同分辨率特征进行融合,卷积融合计算如下: