本发明涉及图像检测，尤其涉及一种基于rt-detr检测器的pcb表面缺陷检测方法及系统。
背景技术：
1、随着电子设备的日益复杂和功能的不断增加，pcb(printed circuit board)缺陷检测是电子制造行业中的关键环节，直接关系到产品的质量和可靠性。该过程涉及检测pcb上的各种缺陷，如断路、短路、毛刺等，这些缺陷可能导致产品性能下降、故障或安全隐患。传统的pcb表面缺陷检测方法主要依赖于目视检查和手工测量，这种方法效率低下、耗时且易受主观因素影响，无法满足大规模生产的需求。
2、基于人工智能的技术在表面缺陷检测领域已经取得了显著的进展，现有的目标检测算法主要分为两大类，一是基于传统深度卷积神经网络(cnn)的目标检测算法，二是基于tran sformer架构的目标检测算法。现有的基于卷积神经网络(cnn)架构的目标检测模型可以分为两类：两阶段方法(fast r-cnn和faster r-cnn)和一阶段方法(yolo系列和ssd)，两阶段检测方法在小目标缺陷检测任务中具有较高的精度，相比之下单阶段检测方法因其不需要生成候选区域，通过单次检测即可直接获得结果，大大提高了检测速度。与传统的基于cnn的方法相比，基于transformer架构的目标检测算法在全局感知、细节捕获和序列建模方面具有明显优势。受益于全局感知的机制使得transformer能够在不同尺度和层次上对整个图像进行细致的分析，有利于准确地定位和识别目标对象。
3、然而pcb表面缺陷检测具有多尺度、复杂的背景干扰和丰富的小目标等特点，对缺陷检测任务具有巨大的挑战，现有方法大多难以提取多尺度特征，导致在挖掘深层语义信息和准确定位目标方面存在不足；其次，由于pcb缺陷的复杂性和多样性，往往会出现多个缺陷区域之间相互重叠或者被其他元素遮挡的情况，这会导致传统模型在准确识别和定位每个缺陷时存在困难。
技术实现思路
1、为了解决上述现有技术中现有方法难以提取多尺度特征，导致在挖掘深层语义信息和准确定位目标方面存在不足，以及由于pcb缺陷的复杂性和多样性，往往会出现多个缺陷区域之间相互重叠或者被其他元素遮挡的情况，这会导致传统模型在准确识别和定位每个缺陷时存在困难的问题。
2、本发明提出了一种基于rt-detr检测器的pcb表面缺陷检测方法。本发明是通过以下技术方案实现的：
3、本发明包括以下步骤：
4、s1、采集pcb缺陷图像，对pcb缺陷图像进行预处理，标注pcb缺陷图像信息中的缺陷类别，并构建pcb缺陷检测数据集；
5、s2、构建由改进的骨干网络、改进的混合编码器和带辅助预测头的变压器解码器组成的初始缺陷检测模型；
6、将原始骨干网络替换成resnet18，所述resnet18是由一个7×7卷积层、一个最大池化层、4个basicblock和一个全连接层组成，将resnet18中的4个basicblock替换为4个faster-ema block，所述faster-ema block由pconv、2个conv和ema注意力机制组成，在两个conv之间放置归一化(bn)和激活层(relu)，形成改进的骨干网络；
7、将原始的混合编码器中的多头自注意力机制mhsa替换成级联组注意力机制cgatt，将ccfm模块替换为层次尺度感知网络hs-pan，形成改进的混合编码器；
8、s3、构建最终的目标损失函数训练初始缺陷检测模型，以获取优化的缺陷检测模型；
9、s4、根据pcb缺陷检测数据集和优化的缺陷检测模型，获取缺陷检测结果。
10、进一步的，所述步骤s1包括：
11、s11、相机采集pcb板上的多个缺陷类型图像，形成pcb缺陷图像；
12、s12、将pcb缺陷图像依次进行去噪操作、数据增强、标准化处理和标签制作，标注pcb缺陷图像信息中的缺陷类别，以获取pcb缺陷检测数据集。
13、进一步的，所述步骤s12中，标注pcb缺陷图像信息中的缺陷类别包括短路、开路、缺口、毛刺、漏孔和余铜六类。
14、进一步的，所述步骤1中，pcb缺陷检测数据集按照8：1：1划分为训练集、验证集和测试集。
15、进一步的，所述层次尺度感知网络hs-pan包括特征选择模块、自上而下特征融合模块以及集成特征细化模块，其中特征选择模块将改进的骨干网络的输出s3、s4和s5经过通道注意力模块ca和1×1的卷积操作后输出为p3、p4和p5，p3、p4和p5经过自上而下特征融合模块输出为n3、n4和n5，n3、n4和n5经过集成特征细化模块输出为m3、m4和m5。
16、进一步的，所述通道注意力模块ca首先输入特征图fin∈rc×h×w，其中c、h、w分别表示通道数量、特征图的高度和宽度，fin表示输入特征图，r表示实数域，rc×h×w表示这个张量是一个实数域中的三维张量，其次特征映射经历全局平均池化和全局最大池化后组合得到一个新的特征，随后利用sigmoid激活函数确定每个通道的权值，最终得到每个通道的权重，即fca∈rc×1×1。
17、进一步的，所述自上而下特征融合模块和集成特征细化模块均包括高级选择性特征融合模块asff，其中，p5不做任何处理得到n5，p4经过asff模块融合n5得到n4，p3经过asff模块融合n5得到n3，n3、n4和n5进入通道注意力模块ca和1x1的卷积操作，分别输出为f3、f4和f5，f3直接得到m3，f4经过asff模块融合m3得到m4，f5经过asff模块融合m4得到m5。
18、进一步的，所述步骤s3中，将原始rt-detr检测器中的giou损失函数替换成mpdiou损失函数作为改进的损失函数，在改进的损失函数基础上引入归一化高斯瓦瑟斯坦距离损失函数nwd loss进行概率融合作为最终的目标损失函数。
19、进一步的，所述的改进的损失函数表达式如下：
20、lmpdiou＝1-mpdiou
21、
22、其中a和b表示预测框和真实框，和分别表示边界框a的左上角和右下角坐标。和表示边界框b的左上角和右下角坐标，d1表示边界框a和b左上角坐标之间的距离；d2表示边界框a和b右下角坐标之间的距离；
23、高斯瓦瑟斯坦距离损失函数nwd loss的计算公式如下：
24、
25、其中,cxa和cya是边界框na的中心点坐标，cxb和cyb是边界框nb的中心点坐标，wa和ha是边界框na的宽度和高度，wb、hb是边界框nb的宽度和高度，是距离度量，归一化后的指数形式，如下式所示：
26、
27、对mpdiou loss和nwd loss进行了概率融合作为最终的目标损失函数，如以下公式所示：
28、loss＝α×mpdiou+(1-α)×nwd+l1。
29、本发明还设计了一种基于rt-detr检测器的pcb表面缺陷检测系统，所述系统包括：
30、获取模块，用于获取pcb缺陷检测数据集；
31、初始模型模块，用于构建由改进的骨干网络、改进的混合编码器和带辅助预测头的变压器解码器组成的初始缺陷检测模型；
32、训练模块，用于获取构建最终的目标损失函数训练初始缺陷检测模型，以获取优化后的缺陷检测模型；
33、预测模块，用于根据pcb缺陷检测数据集和优化后的缺陷检测模型，获取缺陷检测结果。
34、与现有技术相比，本发明的有益效果在于：
35、(1)该方法选择resnet18作为rt-detr的骨干网络，使得整体模型更加轻量化，检测速度更快；
36、(2)该方法将resnet18中的四个basicblock(基本块)进行重新设计，命名为faster-ema block，提升了模型骨干网络的特征提取能力，提升了检测精度；
37、(3)该方法使用级联组注意力机制(cascaded group attention)将改进的(efficient hybrid encoder)中的特征尺度交互机制aifi(attention-based intra-scale feature interaction)中的多头自注意力机制multi-head self-attention(mhsa)进行替换，解决了多头自注意力机制中注意头冗余的问题，更加关注小目标缺陷，提升了检测精度；
38、(4)该方法将rt-detr中的ccfm模块剔除，取而代之是本发明设计的层次尺度感知网络hs-pan(hierarchical scale-aware attention networks)，实现多尺度特征融合，使得模型可以学到更加全面的pcb缺陷特征阵列；
39、(5)该方法将原始rt-detr中的giou loss边界框损失函数替换成mpdiou loss，提高了模型的收敛速度，回归结果也更加准确；
40、(6)该方法引入了归一化高斯瓦瑟斯坦距离(nwd loss)的损失函数，对mpdiou和nwd进行了概率融合，使得模型对小目标缺陷更加敏感，提升了检测精度。
41、(7)该方法不仅能够考虑小目标缺陷检测，还能对复杂背景进行有效抑制，建立了快速、精确的缺陷检测模型，对pcb质量决策具有重要意义。
42、本发明的优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释，这些实施例，是参照附图仅作为例子给出的。
1.一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于，所述步骤s1包括：
3.根据权利要求2所述的一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于：所述步骤s12中，标注pcb缺陷图像信息中的缺陷类别包括短路、开路、缺口、毛刺、漏孔和余铜六类。
4.根据权利要求1所述的一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于：所述步骤1中，pcb缺陷检测数据集按照8：1：1划分为训练集、验证集和测试集。
5.根据权利要求1所述的一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于：所述层次尺度感知网络hs-pan包括特征选择模块、自上而下特征融合模块以及集成特征细化模块，其中特征选择模块将改进的骨干网络的输出s3、s4和s5经过通道注意力模块ca和1×1的卷积操作后输出为p3、p4和p5，p3、p4和p5经过自上而下特征融合模块输出为n3、n4和n5，n3、n4和n5经过集成特征细化模块输出为m3、m4和m5。
6.根据权利要求5所述的一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于：所述通道注意力模块ca首先输入特征图fin∈rc×h×w，其中c、h、w分别表示通道数量、特征图的高度和宽度，fin表示输入特征图，r表示实数域，rc×h×w表示这个张量是一个实数域中的三维张量，其次特征映射经历全局平均池化和全局最大池化后组合得到一个新的特征，随后利用sigmoid激活函数确定每个通道的权值，最终得到每个通道的权重，即fca∈rc×1×1。
7.根据权利要求6所述的一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于：所述自上而下特征融合模块和集成特征细化模块均包括高级选择性特征融合模块asff，其中，p5不做任何处理得到n5，p4经过asff模块融合n5得到n4，p3经过asff模块融合n5得到n3，n3、n4和n5进入通道注意力模块ca和1x1的卷积操作，分别输出为f3、f4和f5，f3直接得到m3，f4经过asff模块融合m3得到m4，f5经过asff模块融合m4得到m5。
8.根据权利要求1所述的一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于：所述步骤s3中，将原始rt-detr检测器中的giou损失函数替换成mpdiou损失函数作为改进的损失函数，在改进的损失函数基础上引入归一化高斯瓦瑟斯坦距离损失函数nwd loss进行概率融合作为最终的目标损失函数。
9.根据权利要求8所述的一种基于rt-detr检测器的pcb表面缺陷检测方法，其特征在于：所述的改进的损失函数表达式如下：
10.一种基于rt-detr检测器的pcb表面缺陷检测系统，其特征在于，所述系统包括：
