基于MIU-Transformer的装配式桥梁焊接质量检测方法

    技术2024-12-22  36


    本发明涉及桥梁焊接质量检测,特别是涉及一种基于miu-transformer的装配式桥梁焊接质量检测方法。


    背景技术:

    1、装配式桥梁,作为现代交通基础设施的重要组成部分,承载着车辆和行人的安全通行。然而,由于各种原因,桥梁焊缝可能会出现各种缺陷,不仅影响其使用性能,还可能对交通安全构成威胁。总的来说,焊缝质量差对钢材产生的影响是全方位的,涉及结构的安全性、可靠性、耐久性、经济性、施工性、美观性、规范性和环境影响。因此,确保焊缝质量是钢结构工程中不可忽视的重要环节。因此,对装配式桥梁焊接检测的大范围常态化测量工作意义至关重要。

    2、近年来,随着超声波技术的广泛应用,超声波检测方法已经成为装配式桥梁焊接缺陷测量的主要方法之一。发射器产生高频超声波信号,通过耦合剂将信号传递到装配式桥梁表面;接收器接收由病害反射回来的超声波信号;信号处理系统对接收到的信号进行滤波、放大等处理;显示记录设备将处理后的信号以波形、图像等形式显示出来,供检测人员分析。但是装配式桥梁的材料种类和性质对超声波检测的效果有直接影响。例如,一些合金元素和杂质可能导致声波散射,降低检测精度。另外,超声波检测设备的购置和维护成本较高,对于一些经济条件有限的地区或项目来说,可能难以承担。此外,该方法在焊接过程当中不具有实时性,设备的维护和校准也需要专业知识和技能,增加了使用和维护的难度。

    3、传统方法是利用人工检测的手段,让测量师通过目视检查或敲击检测来寻找装配式构桥梁的焊接缺陷,并将其分类标注。然而,仅仅通过人工的方法来分析装配式桥梁中的焊接缺陷是远远不够的。通过人工筛查的方法费时费力,亟需一种高效的焊接检测手段。目前随着智能化技术的快速发展,其在钢结构装配式桥梁焊接缺陷测量中的应用也越来越广泛。智能化理论与技术主要包括人工智能、机器学习、图像处理等。通过运用这些技术,可以实现对桥梁焊接缺陷的自动识别、分类和评估,提高检测效率和准确性。基于深度学习的图像分析方法的发展为解决这一问题提供了新的途径,本发明提出一种新型基于miu-transformer的装配式桥梁焊接质量检测方法。


    技术实现思路

    1、本发明的目的是克服了以上技术的缺点,提供了一种稳定的实时高精度智能化的基于miu-transformer的装配式桥梁焊接质量检测方法。实现装配式桥梁焊接缺陷量化测量分析,能够准确、高效地检测出的钢材料焊接缝缺陷并进行量化,为装配式桥梁质量保障和维护提供了有效的手段。

    2、为实现上述目的,本发明的技术方案是:

    3、第一方面,本发明提供一种基于miu-transformer的装配式桥梁焊接质量检测方法,所述方法包括以下步骤:

    4、获取装配式桥梁焊接缺陷图像数据集,数据集中包括含气孔或夹渣缺陷的气泡缺陷图像、含焊接裂纹或未熔合缺陷的焊接缺陷图像、无缺陷图像,并对图像进行像素级标注,为每个像素分配相应的语义标签;

    5、采用miu-transformer神经网络进行语义分割缺陷测量,miu-transformer神经网络包括集成蒙版图像均匀性与无监督域自适应的框架、由transformer编码器和上下文感知特征融合解码器组成的主网络;

    6、所述集成蒙版图像均匀性与无监督域适应的框架简称miu框架,包括教师网络,源图像和一个相应的单热标签用于训练主网络fθ与监督损失ls;之后,源图像通过主网络生成出源预测图像,利用下式计算源预测图像与真实图像的监督损失;

    7、

    8、其中,上标s表示源图像的相应数据,ns为每个标签的样本数量,下标k表示第k个元素;

    9、同时,目标图像分别输入主网络、蒙版操作、教师网络,其中教师网络与主网络之间通过指数移动平均ema更新教师网络的权重,将知识从源域传递到目标域;将目标域的未标记图像输入主网络,通过下式计算适应损失

    10、

    11、其中,h、w表示目标图像的高度和宽度,h×w为图像像素面积,c表示类别数量,表示目标图像的伪标签对应的质量估计,表示目标图像的真实标签,表示主网络输出;上标t表示目标图像的相应数据;

    12、适应损失用于提高有效泛化到未见数据的能力,以适应损失优化主网络的模型参数θ,使得模型在目标领域上的预测更接近真实标签;

    13、当目标图像输入蒙版操作时,通过屏蔽目标图像的随机补丁,miu框架训练网络预测整个图像的语义分割,miu损失为lm:首先,从均匀分布中随机采样一个掩码m,获得蒙版,通过蒙版和目标图像的逐元乘法得到蒙版目标图像,蒙版目标图像输入主网络中,获得蒙版预测结果;

    14、当目标图像输入教师网络时,根据获得目标域数据的伪标签;

    15、其中表示目标域数据的伪标签;表示教师网络的输出;c是类别标签,取值为1-c的整数;表示在所有类别标签c’中,取得最大概率值的类别标签;

    16、利用教师网络为目标域数据生成伪标签,并且利用本地和上下文信息,提高目标域中伪标签的质量,从而生成更可靠的标签;

    17、伪标签及其质量估计被用于在目标域上进一步训练;将蒙版预测与伪标签一起输入miu损失计算中,miu损失计算公式为:

    18、lm=qth(ym,pt)

    19、其中,其中pt表示目标图像的伪标签,qt为目标图像的质量估计;ym是主网络对蒙版目标图像的预测概率;h(.)表示最大熵函数;

    20、经过三个损失函数的约束训练获得miu-transformer神经网络的最终输出,获得语义分割后的图像,进而计算缺陷的面积。

    21、进一步地,所述编码器包括重叠补丁嵌入模块、四个转换器模块,上下文感知特征融合解码器包括多层感知机和上下文感知融合模块;

    22、图像输入编码器中的重叠补丁嵌入模块,将输入图像切割为一个个图块,然后依次经第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块后,分别获得多尺度特征图,记为f1、f2、f3、f4,将多尺度特征图输出连接上下文感知特征融合解码器,将经过多层感知机输出的多层次特征进行拼接操作concat,拼接后生成堆输入到上下文感知融合模块,获得解码器的输出;

    23、所述上下文感知融合模块包括两个1×1卷积、多个不同膨胀率的3×3深度可分离卷积,输入图像经过多个不同膨胀率的并行3×3深度可分离卷积和一个1×1卷积并行设置的结构处理后,经过拼接操作和一个1×1卷积处理获得解码器的输出。

    24、进一步地,第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块结构相同,包括基于滑动窗口技术的自注意力机制模块swefficientself-attention、mix-前馈网络模块和重叠补丁融合模块,经过四个转换器模块获得大小相同但分辨率不同的四个特征图。

    25、进一步地,所述基于滑动窗口技术的自注意力机制模块swefficientself-attention的过程是:上一层的输出记为zl-1,zl-1依次通过层归一化ln操作和基于窗口的多头自注意w-msa模块进行处理,之后w-msa模块的输出结果与zl-1进行dropout和残差连接,获得之后再经过一个ln层和一个fc层处理后再与进行dropout和残差连接后,获得zl;

    26、zl经一个ln层和基于滑动窗口的多头自注意力机制sw-emsa模块处理后与zl进行dropout和残差连接,获得之后再经过一个ln层和一个fc层处理后再与进行dropout和残差连接后获得zl+1,最后经补丁合并层处理,获得于滑动窗口技术的自注意力机制模块sw efficient self-attention的输出。

    27、进一步地,所述第一转换器模块的重叠补丁融合模块(overlap patch merging)的卷积核大小kernel=7,步长stride=4,填充padding=3;第二转换器模块、第三转换器模块、第四转换器模块的重叠补丁融合模块(overlap patch merging)的卷积核大小kernel=3,步长stride=2,填充padding=1;所述移动窗口的像素大小为4*4,移动步长stride=2。

    28、进一步地,将待识别图像输入到训练好的miu-transformer神经网络检测缺陷目标,进而获得各个缺陷的像素面积和实际面积,并设置气泡缺陷的测量参数阈值;

    29、若识别为焊接裂纹、未熔合图像,则进行报警并显示缺陷信息;

    30、若识别为气孔或夹渣缺陷图像,计算缺陷像素面积与镜头检测面积比,是否超过气泡缺陷的测量参数阈值,气泡缺陷的测量参数阈值为2%,如果未超过气泡缺陷的测量参数阈值,则桥梁焊接输出为合格,合格不报警不做标记;若缺陷像素面积与镜头检测面积比超过气泡缺陷的测量参数阈值,将缺陷像素面积与镜头检测面积比以及缺陷类型传递给提示处理模块,通知相关人员根据报警信息处理焊缝;再将处理好的焊缝重新检测,直至所有区域均不超过测量参数阈值,完成装配式桥梁质量的检测。

    31、第二方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现所述方法的步骤。

    32、与现有技术相比,本发明的有益效果是:

    33、本发明将miu-transformer神经网络应用到装配式桥梁焊接质量检测中,具有精细化识别图像信息的功能,可对焊接缺陷识别并量化,可以克服人工对于焊接质量监测的困难的不足,避免了对操作人员的潜在危害以及设备维护的需求,实现实时监测和质量控制,提高施工效率和质量,减少对专业技术人员的依赖,降低人力成本,并且减轻了工作人员在恶劣环境下工作的压力,并为装配式桥梁建设提供更可靠和安全的解决方案。相对于现有算法其mrecall、mf1和miou指标上表现出明显优势。

    34、本发明系统为实现更大规模的焊接质量检测提供了可能性,收集的大量数据可以用于进一步的分析,为改进焊接工艺和质量控制提供数据支持,算法经过训练后,可以适应不同的生产环境、不同的焊接参数和多种类型的装配式桥梁结构。进一步推动了该领域的发展,推动传统制造业向智能制造转型,具有重大的意义和广阔的应用前景,促进相关技术的创新和应用,同时也为装配式桥梁焊接质量检测的发展提供了有力的支持和保障。


    技术特征:

    1.一种基于miu-transformer的装配式桥梁焊接质量检测方法,其特征在于,所述方法包括以下步骤:

    2.根据权利要求1所述的方法,其特征在于,所述编码器包括重叠补丁嵌入模块、四个转换器模块,上下文感知特征融合解码器包括多层感知机和上下文感知融合模块;

    3.根据权利要求2所述的方法,其特征在于,第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块结构相同,包括基于滑动窗口技术的自注意力机制模块swefficientself-attention、mix-前馈网络模块和重叠补丁融合模块,经过四个转换器模块获得大小相同但分辨率不同的四个特征图。

    4.根据权利要求3所述的方法,其特征在于,所述基于滑动窗口技术的自注意力机制模块sw efficient self-attention的过程是:上一层的输出记为zl-1,zl-1依次通过层归一化ln操作和基于窗口的多头自注意w-msa模块进行处理,之后w-msa模块的输出结果与zl-1进行dropout和残差连接,获得之后再经过一个ln层和一个fc层处理后再与进行dropout和残差连接后,获得zl;

    5.根据权利要求3所述的方法,其特征在于,所述第一转换器模块的重叠补丁融合模块(overlap patch merging)的卷积核大小kernel=7,步长stride=4,填充padding=3;第二转换器模块、第三转换器模块、第四转换器模块的重叠补丁融合模块(overlap patchmerging)的卷积核大小kernel=3,步长stride=2,填充padding=1;所述移动窗口的像素大小为4*4,移动步长stride=2。

    6.根据权利要求1所述的方法,其特征在于,将待识别图像输入到训练好的miu-transformer神经网络检测缺陷目标,进而获得各个缺陷的像素面积和实际面积,并设置气泡缺陷的测量参数阈值;

    7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时可实现权利要求1-6任一所述方法的步骤。


    技术总结
    本发明为基于MIU‑Transformer的装配式桥梁焊接质量检测方法,包括以下步骤:获取装配式桥梁焊接缺陷图像数据集,并对图像进行像素级标注,为每个像素分配相应的语义标签;采用MIU‑Transformer神经网络进行语义分割缺陷测量,MIU‑Transformer神经网络包括集成蒙版图像均匀性与无监督域自适应的框架、由Transformer编码器和上下文感知特征融合解码器组成的主网络;利用训练后的MIU‑Transformer神经网络获得语义分割后的图像,计算缺陷的面积。该方法能够准确、高效地检测出的钢材料焊接缝缺陷并进行量化,为装配式桥梁质量保障和维护提供了有效的手段。

    技术研发人员:王翔宇,孙浚博,黄成浩,赵宏宇,王雨飞,郭乔明,黄渝翔
    受保护的技术使用者:华东交通大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-24064.html

    最新回复(0)