本发明涉及信息,涉及一种车道区域实时自动标定的方法和系统。
背景技术:
1、在现代交通监控和管理系统中,准确的车道区域标定对于实现有效的交通控制和安全管理至关重要。传统的道路车道区域标定往往依赖于人工操作,这一过程不仅耗时耗力,而且容易受到主观因素的影响,导致标定结果的不准确和不一致性。
2、人工标定方法一旦完成,标定结果便固定下来,即便在标定时达到了较高的精确度,但由于自然环境变化和摄像头本身的移动或震动,已经标定的车道区域对于实际的车道发生偏差,这就需要定期重新进行人工标定,以维持系统的识别精度。这样的维护工作不仅增加了系统的运营成本,而且在很多情况下难以做到实时更新,从而影响了整个监控系统的实效性和可靠性。
3、随着机器视觉技术的高速发展,交通监控系统向高清化、网络化发展,监控摄像头的数量和覆盖范围迅速增加,这使得对高效、自动化且能够实时的标定车道区域的方法更为迫切。全自动且实时的车道区域标定方法能够减少对人工的依赖,提高标定的效率和准确性,同时具备自适应调整的能力,以应对复杂多变的道路和环境条件。
4、因此,寻找一种既能够全自动且实时的标定车道区域,又能够通过自适应调整能力应对复杂多变的道路和环境的方法,是本领域技术人员亟待解决的技术问题。
技术实现思路
1、为了克服背景技术中存在的问题,本发明提供一种车道区域实时自动标定的方法和系统,其不仅能显著减少对人工操作的依赖,提高标定的效率和准确性,还具备低延迟、低网络负担和充分的自适应能力。本发明主要内容如下:
2、步骤1,获取待处理的图片集;
3、步骤2,对图片集进行数据增强处理并构建训练数据集;
4、步骤3,构建并训练轻量化的实时车道区域标定网络模型,该模型为编码器解码器结构,具体包括如下子步骤:
5、步骤3-1,编码器包括一个串行空洞卷积单元和一个并行空洞卷积单元,两个单元并行运算,相互独立,最终获得串行支路特征和并行支路特征;
6、步骤3-2,解码器包括2个1*1的卷积层,1个3*3的卷积层,1个4倍上采样层,1个自适应上采样融合层,用于对串行空洞卷积单元和并行空洞卷积单元的特征进行融合,输出解码器特征,最后对解码器输出的特征进行检测,得到自动标定的车道线结果。
7、进一步的,步骤1中采用路侧式道路监测相机采集不同自然环境下实地场景视频,随后对采集的视频进行抽帧,按照一定的时间间隔提取视频帧,将这些视频帧作为图片集。
8、进一步的,步骤2的具体实现方式如下;
9、(1)对图片集进行旋转处理,顺时针旋转0~15角度与逆时针旋转0~15角度,每一个整数度数时保存一次图片,构成旋转数据集;
10、(2)对图片集做平移处理,平移包括沿x轴,y轴和45度夹角线方向平移,平移的区域以黑色代替,构成平移后的图片,构成平移数据集;
11、(3)对图片集添加高斯噪声,在原来的图片的基础上,随机叠加噪声处理,构成噪声数据集;
12、(4)对图片集进行mosaic数据增强,对原有的图片先进行不同尺度的缩放处理,将缩放后的图片进行随机拼接,使得拼接后的图片满足原始图片的大小,构成mosaic数据集;
13、(5)对原始的图片集以及步骤(1)(2)(3)(4)构成的数据集进行加权处理,通过分配的权重,融合出用于模型训练的数据集图片。
14、进一步的,旋转数据集的权重=平移数据集的权重>噪声数据集的权重>mosaic数据集的权重。
15、进一步的,步骤3-1的具体实现方式如下;
16、步骤3-1-1,串行空洞卷积单元包括4个空洞卷积层,4个空洞卷积层串联运行,将图像输入到串行空洞卷积单元的空洞卷积层,图像大小高和宽缩小一倍,输出图像的通道数等于空洞卷积层的通道数;4个空洞卷积层结构相同,只是空洞率不同,4个空洞卷积层的空洞率依次为r0,r1,r2,r3,从第四个空洞卷积层输出的特征图为串行空洞卷积单元输出的特征图,令该特征图为p1;
17、步骤3-1-2,并行空洞卷积单元包括1个1*1卷积,1个卷积核尺寸3*3,空洞率为r5的空洞卷积1,1个卷积核尺寸3*3,空洞率为r6的空洞卷积2,1个卷积核尺寸3*3,空洞率为r7的空洞卷积3和1个全局平均池化,输入图像输入到并行空洞卷积单元后,进行并行运算,输入图像经过1*1卷积得到特征图p2,输入图像经过空洞卷积1得到特征图p3,经过空洞卷积2得到特征图p4,经过空洞卷积3得到特征图p5,经过最大池化层得到特征图p6;将特征图p2~p6进行融合得到特征图p7为并行空洞卷积单元的输出。
18、进一步的,在融合时,由于特征图p2~p6的维度不同,构建一种自适应上采样的融合模块,在p2~p6融合中,以维度最大的特征图为模板,对于其他的特征图,进行n倍插值的上采样,n的计算公式如下:
19、
20、进一步的,步骤3-2的具体实现方式如下;
21、步骤3-2-1,串行空洞卷积单元输出的特征图p1首先经过1*1的卷积层,减少网络的参数数量和计算量,在卷积层里进行批归一化和relu激活函数平滑处理,输出增强了网络的表达能力的特征图;
22、步骤3-2-2,并行空洞卷积单元输出的特征图p7经过一次1*1卷积层处理,然后与步骤3-2-1输出的特征图以自适应上采样的方式进行融合,将融合后的特征输入到一层3*3卷积层处理,提炼特征并调整维度,优化特征表示,输出的特征最后经过一次普通4倍双线性插值上采样处理,通过逐像素分类器得到自动标定的车道线结果,自动标定的车道线结果包括利用预测框框出应急车道线区域、车道线区域、和车辆行驶区域这3种区域,以及这三种区域的的预测概率。
23、进一步的,模型训练过程中采用分类损失和回归损失,总损失l为分类损失和回归损失的加权,计算公式如下:
24、
25、上式总损失函数表达式中,λ,β分别为分类损失函数lcls和回归损失函数lre的权重,xi表示训练集的样本,p(xi)表示对于样本xi预测的概率,c表示预测得到的类别,如果预测正确,c=1,如果预测错误c=0,yic表示将样本目标转为二进制的编码;iou是交并比,b1和b2表示预测框与真实框的中心点,ρ表示预测框与真实框两个矩形框之间的欧式距离,l是覆盖这两个边界框的最小边界框的对角线长度,v是修正因子用于衡量预测框与真实框相对比例的一致性参数,α是平衡参数,k是预设的类别总数,n是训练集中样本的总数。
26、进一步的,参数α,v的计算公式如下:
27、
28、其中,w1和h1为预测框的宽和高,w2和h2为真实框的宽和高。
29、本发明还提供一种车道区域实时自动标定的系统,包括如下模块:
30、数据获取模块,用于获取待处理的图片集;
31、数据增强模块,用于对图片集进行数据增强处理并构建训练数据集;
32、模型构建和训练模块,用于构建并训练轻量化的实时车道区域标定网络模型,该模型为编码器解码器结构;
33、其中,编码器包括一个串行空洞卷积单元和一个并行空洞卷积单元,两个单元并行运算,相互独立,最终获得串行支路特征和并行支路特征;
34、解码器包括2个1*1的卷积层,1个3*3的卷积层,1个4倍上采样层,1个自适应上采样融合层,用于对串行空洞卷积单元和并行空洞卷积单元的特征进行融合,输出解码器特征,最后对解码器输出的特征进行检测,得到自动标定的车道线结果。
35、本发明的一种车道区域实时自动标定的方法和系统,相对于现有技术具有以下有益效果:
36、(1)通过利用路侧相机采集不同自然环境下实地场景视频,并通过训练好的实时车道区域标定网络进行车道区域自动标定,不仅能显著减少对人工操作的依赖,还具备低延迟、低网络负担和充分的自适应能力,适应不同复杂度的交通场景,提高了检测的准确性和可靠性;
37、(2)将所有损失函数集成在一个总的损失函数中,使模型的训练更加集中和高效,简化了训练过程,提高了网络的推理速度和检测的鲁棒性,在保证区域标定准确的同时,也兼顾了计算效率。
1.一种车道区域实时自动标定的方法和系统,其特征在于,包括如下步骤:
2.如权利要求1所述的一种车道区域实时自动标定的方法和系统,其特征在于:步骤1中采用路侧式道路监测相机采集不同自然环境下实地场景视频,随后对采集的视频进行抽帧,按照一定的时间间隔提取视频帧,将这些视频帧作为图片集。
3.如权利要求1所述的一种车道区域实时自动标定的方法和系统,其特征在于:步骤2的具体实现方式如下;
4.如权利要求3所述的一种车道区域实时自动标定的方法和系统,其特征在于:旋转数据集的权重=平移数据集的权重>噪声数据集的权重>mosaic数据集的权重。
5.如权利要求1所述的一种车道区域实时自动标定的方法和系统,其特征在于:步骤3-1的具体实现方式如下;
6.如权利要求5所述的一种车道区域实时自动标定的方法和系统,其特征在于:在融合时,由于特征图p2~p6的维度不同,构建一种自适应上采样的融合模块,在p2~p6融合中,以维度最大的特征图为模板,对于其他的特征图,进行n倍插值的上采样,n的计算公式如下:
7.如权利要求5所述的一种车道区域实时自动标定的方法和系统,其特征在于:步骤3-2的具体实现方式如下;
8.如权利要求1所述的一种车道区域实时自动标定的方法和系统,其特征在于:模型训练过程中采用分类损失和回归损失,总损失l为分类损失和回归损失的加权,计算公式如下:
9.如权利要求8所述的一种车道区域实时自动标定的方法和系统,其特征在于:参数α,v的计算公式如下:
10.一种车道区域实时自动标定的系统,其特征在于,包括如下模块:
