本发明属于交通场景领域,具体涉及一种交通标志检测方法、装置及存储介质。
背景技术:
1、交通标志检测是一项关键的计算机视觉任务,旨在自动识别和定位图像或视频中的交通标志,以提升交通安全和智能交通管理水平。这项技术被广泛用于自动驾驶和高级辅助驾驶领域,旨在发现潜在的风险,是智慧交通的重要组成部分。在实际环境中,交通标志往往呈现目标小、背景复杂、尺寸变化多样化的特点,导致识别困难,驾驶人可能会出现漏看、误判等情况,对车辆的行驶安全造成严重的影响。因此,快速而又准确的识别交通标志成为了交通任务中的难点和重点之一。
2、当前的针对交通场景的目标检测算法主要分为两个阶段,第一阶段是基于传统手工特征的检测算法时期,主要是根据交通标志的形状和颜色来进行区分,第二阶段是基于深度学习的检测时期,通过卷积神经网络进行特征学习,能够自动学习特征并具有强大的特征表达能力和泛化性,能够适用于多种场景,并且检测的速度更快精度更高。
3、基于深度学习的目标检测算法主要分为两类,第一类是通过生成候选区域然后进行分类,例如:yolo、ssd、cnn等;第二类是通过端到端的方式实现目标检测,例如detr系列等。detr通过引入transformer结构,去除了人工先验知识,网络结构更加简单。通过在编码过程中加入自注意力机制,增加全局语义,使得detr在大目标检测的性能良好,但是detr还面临着小物体的检测效果不佳及训练时间长,收敛困难的问题。
技术实现思路
1、本发明的目的是提供一种交通标志检测方法,在rt-detr网络模型基础上构建交通标志检测模型,实现对不同交通场景中交通标志的识别,提高识别结果的准确性。本发明是通过以下技术方案实现的。
2、第一方面,本发明提供一种交通标志检测方法,包括:
3、获取待检测的交通道路图像;
4、对交通道路图像进行预处理;
5、将预处理后的交通道路图像输入至预先训练的交通标志检测模型,得到模型输出的分类结果;
6、根据交通标志检测模型分类结果标记检测到的交通标志,输出被标记的交通标志图像;
7、其中,所述交通标志检测模型采用改进的rt-detr网络模型,所述改进的rt-detr网络模型是以rt-detr网络模型为基础,将第5-7层,替换为三层特征学习融合模块dualblocks的下采样特征提取层,其中替换的每一层均由dualconv模块、平均池化模块和relu线性激活函数构成,将rt-detr网络模型的第11层和第16层均替换为一层动态上采样算子dysample的动态上采样层,该层由采样点生成器、采样装置和插值函数组成。
8、可选的,所述特征学习融合模块dualblocks包括第一分支和第二分支,第一分支包括多个串行连接的dualconv模块,第二分支包括串行连接的dualconv模块和平均池化模块;
9、所述特征学习融合模块dualblocks执行以下具体操作:
10、在第一分支中,对输入高度为h、宽度为w、通道数为c的特征图进行多次dualconv卷积;
11、在第二分支中,对输入高度为h、宽度为w、通道数为c的特征图依次进行dualconv卷积和平均池化;
12、将第一分支与第二分支输出的特征图拼接在一起并通过relu线性激活函数得到高度为h/2、宽度为w/2、通道数为2c的特征图。
13、可选的,所述dualconv模块执行以下具体操作:
14、对输入的特征分成g组,卷积滤波器的总数为n,输入的特征通道总数为m,将输入特征映射通道划分为g个m/g,将卷积滤波器划分为g个n/g;
15、每个n/g滤波器下包含g个m/g输入特征映射通道,按顺序依次对每个n/g滤波器下的一个m/g输入特征映射通道中的输入特征图并行执行3×3卷积核的卷积运算和1×1卷积核的卷积运算,同时其他通道中的输入特征图只进行1×1卷积核的卷积运算;最后将得到的分组方案的输出结果依次叠加,得到最后的卷积结果。dualconv是一种结合分组卷积和非均匀卷积优点的双重卷积方案。
16、可选的,所述动态上采样算子dysample执行以下具体操作:
17、对于输入特征图,
18、在第一分支中,对输入特征图先经过采样点生成器选取合适的采样点生成方式,然后经过采样装置控制特征图要生成的具体尺寸,确定需要插入的采样点数量;
19、在第二分支中,对输入特征图的尺寸进行放大,将原图片的特征放置到对应的位置,并将需要插入的采样点位置空出;
20、最后将这两个分支通过插值函数将生成的采样点插入到对应的位置,生成图片的上采样特征。动态上采样算子dysample从点采样的角度定制了上采样,更加节省资源且更容易实现。
21、可选的,所述采样点生成器,包括静态采样点生成器和动态采样点生成器;
22、所述静态采样点生成器控制静态范围因子的生成,所述静态范围因子生成为输入特征首先经过输入和输出通道数分别为c和2s2的线性层生成尺寸大小为2s2×h×w的偏移量o,其中,h和w分别为输入特征特征图的高度和宽度,s代表所述动态上采样算子dysample中的尺寸变化因子,将偏移量o乘以特定参数,然后通过像素混洗将其尺寸重塑为2×sh×sw,最后将尺寸重塑后的偏移量o和原始栅格g组合生成采样集δ;
23、所述动态态采样点生成器控制动态范围因子的生成,动态范围因子首先通过第一支路经过输入和输出通道数分别为c和2s2的线性层来生成尺寸大小为2s2×h×w的偏移量o,然后经过激活函数sigmoid和0.5的系数值生成理论边界条件内的偏移量,再与第二支路偏移量o组合后经过通过像素混洗将其尺寸重塑为2×sh×sw,最后将尺寸重塑后的偏移量o和原始栅格g组合生成采样集δ。
24、可选的,所述动态上采样算子dysample通过控制初始采样位置、调整偏移量和上采样过程分组实现点采样。
25、可选的,所述动态上采样算子dysample通过控制初始采样位置、调整偏移量包括通过控制静态初始采样位置、调整偏移量和通过动态初始采样位置、调整偏移量;
26、所述通过控制静态初始采样位置、调整偏移量包括,分离采样点的位置,采用固定大小的偏移距离来生成采样点;
27、所述通过控制动态初始采样位置、调整偏移量包括,采用动态的偏移距离和局部偏置的来生成采样点,选择将多个采样点均匀分布在一个栅格中,将采样点的偏移量设置成统一标准;
28、所述上采样过程分组包括,沿通道维度将特征映射划分为多组,每组分别进行所述控制初始采样位置、调整偏移量的运算,得到该组的采样点并将各组采样点进行组合得到点采样结果。
29、可选的,所述交通标志检测模型的训练方法,包括,
30、获取来源于不同交通环境的交通标志图像样本及标注信息;
31、将图像样本划分为训练集样本和测试集样本;
32、对图像样本进行预处理,确定交通标志图像标注信息;
33、将预处理后的训练集样本和测试机样本输入预先构建的rt-detr网络,对rt-detr网络进行训练;
34、通过测试集样本检测已训练的rt-detr网络的分类精度,若分类精度达到预设精度要求则停止训练,否则继续通过训练集样本进行rt-detr网络的训练。
35、第二方面,本发明提供一种交通标志检测装置,包括:
36、图像获取模块,被配置用于获取待检测的交通道路图像;
37、预处理模块,被配置用于对交通道路图像进行预处理;
38、图像检测模块,被配置用于将预处理后的交通道路图像输入至预先训练的交通标志检测模型,得到模型输出的分类结果;
39、以及,检测结果输出模块,被配置用于根据交通标志检测模型分类结果标记检测到的交通标志,输出被标记的交通标志图像;
40、其中,所述交通标志检测模型采用改进的rt-detr网络模型,所述改进的rt-detr网络模型是以rt-detr网络模型为基础,将第5-7层,替换为三层特征学习融合模块dualblocks的下采样特征提取层,其中替换的每一层均由dualconv模块、平均池化模块和relu线性激活函数构成,将rt-detr网络模型的第11层和第16层均替换为一层动态上采样算子dysample的动态上采样层,该层由采样点生成器、采样装置和插值函数组成。
41、第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序/指令,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现如第一方面所述通标志检测方法的步骤。
42、有益效果
43、本发明基于rt-detr网络模型,首先引入了一种特征学习融合模块dualblocks,其通过结合多个小卷积核和分组卷积使提取网络可以帮助更深的卷积层有效的提取浅层的信息,并在精度提升的情况下减少了网络参数量;其次引入了动态上采样算子dysample,从点采样的角度进行上采样特征的恢复,更加节省资源;构建了基于改进rt-detr网络模型的交通标志检测模型,较原rt-detr网络模型相比,网络参数更少,计算量更少,同时保持了更高的精度和检测速度。
1.一种交通标志检测方法,其特征是,包括:
2.根据权利要求1所述的方法,其特征是,所述特征学习融合模块dualblocks包括第一分支和第二分支,第一分支包括多个串行连接的dualconv模块,第二分支包括串行连接的dualconv模块和平均池化模块;
3.根据权利要求2所述的方法,其特征是,所述dualconv模块执行以下具体操作:
4.根据权利要求1所述的方法,其特征是,所述动态上采样算子dysample执行以下具体操作:
5.根据权利要求4所述的方法,其特征是,所述采样点生成器,包括静态采样点生成器和动态采样点生成器;
6.根据权利要求4所述的方法,其特征是,所述动态上采样算子dysample通过控制初始采样位置、调整偏移量和上采样过程分组实现点采样。
7.根据权利要求6所述的方法,其特征是,所述动态上采样算子dysample通过控制初始采样位置、调整偏移量包括通过控制静态初始采样位置、调整偏移量和通过动态初始采样位置、调整偏移量;
8.根据权利要求7所述的方法,其特征是,所述交通标志检测模型的训练方法,包括,
9.一种交通标志检测装置,其特征是,包括:
10.一种计算机可读存储介质,其上存储有计算机程序/指令,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述通标志检测方法的步骤。
