本发明涉及铁路扣件检测,具体涉及一种基于变体yolo的铁路扣件异常检测方法。
背景技术:
1、铁路扣件是铁路运输安全系统的重要组成部分。这些扣件因其较高的长宽比而频繁遭遇较高的失效率,然而,我国每公里铁路运输大约有6700个扣件,人工检查的效率太低,且容易受主观判断的影响。因此,开发利用深度学习等先进技术的铁路线路检测系统至关重要。
2、在过去的十年中,国内外研究人员提出了使用数字技术和各种传感器来检测轨道异常的方法,例如,基于振动信号的检测、超声检测、声学分析检测等。但是这些方法需要昂贵的设备,并需要详细的轨道几何参数来帮助定位和确定紧固件的状态,因此由于成本高,这种方法并不普及。
3、随着机器学习的发展,许多学者努力探索其在轨道紧固件检测领域的应用。有研究提取了改进的边缘梯度特征和紧固件的宏观纹理特征,使用图像融合特征和贝叶斯压缩感知模型实现了轨道紧固件异常的自动识别。另一种方法结合改进的canny边缘检测和中值滤波,并使用曲线特征投影模板匹配紧固件的边缘轮廓以实现缺失紧固件的快速检测。另外,还有一种基于极值理论(evt)和贝叶斯框架的方法,证明了在各种检测器上可以提高检测性能,该方法在铁路轨道异常检测中的准确性得到了提高。为了应对异常紧固件样本不足的问题,基于正常紧固件图像生成了模拟破损紧固件的虚拟负样本,使用hog特征计算方法提取图像特征,最终通过训练的svm分类器实现了异常紧固件检测。虽然上述机器学习检测方法在一定程度上提高了检测精度,但由于复杂的图像处理和特征提取,仍然存在鲁棒性差、易受环境影响、约束多、计算量大、识别速度低的问题。
技术实现思路
1、本发明旨在解决现有技术中存在的技术问题,特别创新地提出了一种基于变体yolo的铁路扣件异常检测方法,提高在挑战性条件下检测铁路紧固件组件异常的准确性,并适用于具有高度特征相似性和次优图像质量的对象。
2、为了实现上述目的,本发明提供了一种基于变体yolo的铁路扣件异常检测方法,包括以下步骤:
3、s1:输入图像,通过骨干网络对特征进行提取,并生成至少三种不同清晰度大小的特征图;
4、s2:将多个特征图通过特征融合网络进行特征融合并优化;
5、s3:对融合和优化后的特征图通过原始头部检测层进行回归和分类过程。
6、上述方案中:步骤s1还包括:
7、s1-1:将经过卷积层、elanblock层和mp-1层处理后的图像数据通过efov进行处理,形成第一种清晰度大小的特征图,并再次通过mp-1层进行处理;
8、s1-2:将s1-1处理完成的特征图再次通过efov进行处理,形成第二种清晰度大小的特征图,并再次通过mp-1层进行处理;
9、s1-3:将s1-2处理完成的特征图再次通过efov进行处理,形成第三种清晰度大小的特征图。
10、上述方案中:步骤s1-1还包括:
11、s1-1-1:efov进行处理时,先将图像数据进行1x1卷积操作,并同时执行s1-1-2、s1-1-3、s1-1-4、s1-1-5;
12、s1-1-2:执行s1-1-6;
13、s1-1-3:将图像数据再进行3x3卷积操作,执行s1-1-6;
14、s1-1-4:将图像数据进行两次3x3卷积操作,执行s1-1-6;
15、s1-1-5:将图像数据进行四次3x3卷积操作,执行s1-1-7;
16、s1-1-6:通过残差分支对s1-1-2、s1-1-3和s1-1-4处理后的图像数据进行融合,并连接,融合、连接完毕后,再进行1x1卷积操作,执行s1-1-7;
17、s1-1-7:将s1-1-5和s1-1-6处理后的图像数据进行连接,并进行1x1卷积操作,修改通道数量。
18、上述方案中:步骤s2还包括:
19、s2-1:通过sppcspc对清晰度最大的特征图进行处理,处理完毕后,同时执行s2-2和s2-6;
20、s2-2:将经过sppcspc处理后的清晰度最大的特征图通过upsample模块对特征图进行上采样;
21、s2-3:将上采样处理完毕后的特征图与第二种清晰度的特征图进行连接,连接完毕后,通过elanblock层对特征图进行处理;elanblock层处理完毕后,同时执行s2-4和s2-5;
22、s2-4:再次通过upsample模块对特征图进行上采样,并将上采样完毕后的特征图与清晰度最低的特征图进行连接,连接完毕后,通过elanblock层对特征图进行处理;elanblock层处理完毕后,同时执行s2-5和s2-7;
23、s2-5:通过od-mp模块进行处理,提高特征图的精细度,再通过elanblock层对特征图进行处理,执行s2-6;
24、s2-6:通过od-mp模块进行处理,提高特征图的精细度,再通过elanblock层对特征图进行处理,执行s2-7;
25、s2-7:通过ema模块进行处理,捕捉特征图的局部重要信息,并发送至原始头部检测层。
26、上述方案中:步骤s2-5和s2-6还包括:
27、od-mp模块进行处理时,将输入的特征图同时发送至两个处理分支,其中一个处理分支先通过1×1卷积操作调整通道,再通过odconv模块进行步幅2的3×3卷积操作,进行降采样;
28、另一个处理分支先通过最大池化操作进行降采样,然后odconv模块进行1×1卷积操作,修改通道数量;
29、最后将两个处理分支的数据进行相加,实现超级降采样。
30、上述方案中:步骤s2-7还包括:
31、s2-7-1:设输入的特征图为x=[x0,x1,...,xg-1],其中xi∈rc×h×w,通过ema模块基于通道数量将输入的特征图划分为g个子特征,且g<<c,c代表特征图的通道数;同时执行s2-7-2、s2-7-3、s2-7-9;
32、s2-7-2:将输入的数据进行横向全局池化操作,在x轴方向上编码通道,执行s2-7-4;
33、s2-7-3:将输入的数据进行竖向全局池化操作,在y轴方向上编码通道;
34、s2-7-4:将两组数据先进行连接,并进行1×1卷积操作,随后分别通过softmax激活函数对其进行激活,再通过sigmoid函数来表示线性卷积的2d二元分布;
35、s2-7-5:通过groupnorm进行处理,同时执行s2-7-6、s2-7-7;
36、s2-7-6:先通过softmax进行激活,并将数据发送至matmul模块,执行s2-7-8;
37、s2-7-7:进行全局平局池化操作,并将数据发送至matmul模块,执行s2-7-12;
38、s2-7-8:通过对两组数据matmul进行处理,执行s2-7-13;
39、s2-7-9:将输入的数据进行3×3卷积操作,同时执行s2-7-10、s2-7-11;
40、s2-7-10:通过softmax进行激活,并将数据发送至matmul模块,执行s2-7-12;
41、s2-7-11:全局平局池化操作,并将数据发送至matmul模块,执行s2-7-8;
42、s2-7-12:通过对两组数据matmul进行处理,执行s2-7-13;
43、s2-7-13:对两组数据进行融合,融合后通过sigmoid函数对输入的注意力分数进行非线性映射,输出。
44、上述方案中:在进行全局平均池化操作时,通过如下公式进行全局平均池化操作:
45、
46、其中,zc是通道c上的池化结果,h和w分别是输入特征图的高度和宽度。xc(i,j)表示输入特征图中位置(i,j)处通道c的值。
47、综上所述,本发明的有益效果是:1、建立了一个用于收集轨道扣件异常数据集的平台,该平台包含了标准化的铁路扣件数据集类别。此外,它还涵盖了现有技术中遗漏的一些扣件异常类别,涉及不同条件下的各种铁路扣件类别。
48、2、设置了一种多分支并行增强视野模块,即efov模块,该模块在efov内的并行分支中运行,通过在模块中提取不同尺度的特征并使用扩张卷积,可以在不增加网络深度和计算负载的情况下扩大感受野。
49、3、在实际场景中,轨道扣件异常检测可能会受到光照条件变化的影响,并且由于设备移动,图像可能会出现模糊。为了解决这一问题,本技术方案设置了od_mp,它结合了正交动态卷积(odconv),并构建了一个并行的四维注意力机制,细化了图像中的局部细粒度特征,有助于提取显著特征。
50、4、引入了基于跨空间学习的高效多尺度注意力模块,即ema模块,采用跨空间学习方法,并设计了一个多尺度并行子网络,以建立短期和长期依赖关系,以提升多维感知和多尺度特征提取能力。
1.一种基于变体yolo的铁路扣件异常检测方法,其特征在于:包括如下步骤:
2.根据权利要求1所述的一种基于变体yolo的铁路扣件异常检测方法,其特征在于:步骤s1还包括:
3.根据权利要求2所述的一种基于变体yolo的铁路扣件异常检测方法,其特征在于:步骤s1-1还包括:
4.根据权利要求1所述的一种基于变体yolo的铁路扣件异常检测方法,其特征在于:步骤s2还包括:
5.根据权利要求4所述的一种基于变体yolo的铁路扣件异常检测方法,其特征在于:步骤s2-5和s2-6还包括:
6.根据权利要求4所述的一种基于变体yolo的铁路扣件异常检测方法,其特征在于:步骤s2-7还包括:
7.根据权利要求6所述的一种基于变体yolo的铁路扣件异常检测方法,其特征在于:在进行全局平均池化操作时,通过如下公式进行全局平均池化操作: