本发明属于计算机视觉领域,尤其涉及工业表面缺陷多尺度检测方法、系统、设备和介质。
背景技术:
1、工业表面缺陷数据具有尺度复杂多变的特点,从直径数毫米的微小划痕到横穿整张图片的细长划痕都可能出现。与缺陷区域相比,整个图像区域占比往往较小,平均占比不到5%。在计算机视觉领域中,语义分割应用广泛,能精确预测图像中每个像素的标签,实现视觉场景理解,在自动驾驶、医学影像、图像生成等领域有着广泛的应用。
2、在一项公开号为cn116452813a的现有技术中,提出了基于空间和语义信息的图像处理方法、系统、设备和介质,通过浅层空间信息与深层语义信息的相互学习优化,从而有效的提升分割精度,达到图片处理速度与准确度之间平衡。
3、然而,基于语义分割的检测网络在处理工业表面缺陷图像时,很容易给予过多的关注在占比大的背景区域,忽视了整体占比小但更为关键的缺陷区域,进而影响了缺陷检测精度。
技术实现思路
1、本发明实施例的目的在于提供工业表面缺陷多尺度检测方法、系统、设备和介质,旨在解决用语义分割法处理工业表面缺陷图像导致检测精度低的问题。
2、本发明实施例是这样实现的,一种工业表面缺陷多尺度检测方法,所述工业表面缺陷多尺度检测方法包括:
3、获取第一图像,对所述第一图像进行语义提取处理,得到第二图像;
4、融合所述第一图像的浅层特征和所述第二图像的深层特征,得到第三图像;
5、利用自适应通道注意力机制处理所述第二图像得到通道注意力,结合所述第三图像的空间细节,得到第四图像。
6、进一步,所述融合所述第一图像的浅层特征和所述第二图像的深层特征,得到第三图像,具体包括如下步骤:
7、将所述深层特征通过一个1x1卷积进行降维,得到通道维度与所述浅层特征维度相同的特征向量;
8、利用sigmoid函数映射所述深层特征,得到每个位置的特征权重分布;
9、将所述特征权重映射于所述浅层特征中,加强所述浅层特征与所述深层特征相对应的语义信息部分,得到所述第三图像。
10、进一步,所述利用自适应通道注意力机制处理所述第二图像得到通道注意力,具体包括如下步骤:
11、学习所述第二图像各通道的注意力权重;
12、利用自适应全局平均池化,得到压缩特征;
13、使用一个卷积层计算所述第二图像各通道的权重;
14、利用hard sigmoid激活函数进行归一化,并将结果与所述注意力权重相乘,得到所述通道注意力。
15、进一步,所述结合所述第三图像的空间细节,得到第四图像,具体为:利用concatenate将所述通道注意力与所述第三图像的空间细节联合起来,得到所述第四图像。
16、进一步,得到所述第四图像后,还需要检测图像损失,具体包括如下步骤:
17、获取输出所述第四图像产生的输出损失,获取得到所述第二图像和所述第三图像产生的语义损失;
18、获取所述第一图像的边缘细节损失;
19、获取得到所述第四图像产生的掩码感知损失;
20、将所述输出损失、所述语义损失、所述边缘细节损失和所述掩码感知损失联合起来,得到图像损失。
21、进一步,得到所述边缘细节损失的方法,具体包括如下步骤:
22、通过拉普拉斯算子对所述第一图像的真实标签进行卷积操作,提取出边缘信息;
23、将不同尺度的所述边缘信息加权融合成单一的边缘目标图,计算得到所述边缘细节损失;
24、学习所述第一图像的边缘区域,将边缘区域的dice损失作为正则项整合进所述边缘细节损失中。
25、进一步,得到所述掩码感知损失的方法,具体包括如下步骤:
26、利用真实标签建构二值掩码图;
27、根据所述二值掩码图,分离所述第四图像的背景特征和非背景特征;所述非背景特征是缺陷类别之总和;
28、在通道维度上堆叠所述背景特征和所述非背景特征,结合所述二值掩码图计算二分类交叉熵损失,得到所述掩码感知损失。
29、本发明实施例的另一目的在于一种工业表面缺陷多尺度检测系统,所述工业表面缺陷多尺度检测系统包括:
30、主干网络,用于获取第一图像,对所述第一图像进行语义提取处理,得到第二图像;
31、高效轻量映射模块,用于融合所述第一图像的浅层特征和所述第二图像的深层特征,得到第三图像;
32、自适应注意力模块,用于利用自适应通道注意力机制处理所述第二图像得到通道注意力,结合所述第三图像的空间细节,得到第四图像;
33、图像损失计算模块,用于将输出所述第四图像产生的输出损失、得到所述第二图像和所述第三图像产生的语义损失、所述第一图像的边缘细节损失和得到所述第四图像产生的掩码感知损失联合起来,得到图像损失。
34、本发明实施例的另一目的在于一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述工业表面缺陷多尺度检测方法的步骤。
35、本发明实施例的另一目的在于一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述工业表面缺陷多尺度检测方法的步骤。
36、本发明实施例提供的一种工业表面缺陷多尺度检测方法,在缺陷检测领域,本发明的优点主要集中在以下两个方面:一是从全局角度学习特征捕获充足的语义信息,简化了语义特征到浅层特征的融合路径;二是引入自适应注意力机制以更好地聚焦于图像中的关键特征区域,加强局部特征的学习,以便更加精确地关注和识别多尺度缺陷。
1.一种工业表面缺陷多尺度检测方法,其特征在于,所述工业表面缺陷多尺度检测方法包括:
2.根据权利要求1所述的工业表面缺陷多尺度检测方法,其特征在于,所述融合所述第一图像的浅层特征和所述第二图像的深层特征,得到第三图像,具体包括如下步骤:
3.根据权利要求1所述的工业表面缺陷多尺度检测方法,其特征在于,所述利用自适应通道注意力机制处理所述第二图像得到通道注意力,具体包括如下步骤:
4.根据权利要求1所述的工业表面缺陷多尺度检测方法,其特征在于,所述结合所述第三图像的空间细节,得到第四图像,具体为:利用concatenate将所述通道注意力与所述第三图像的空间细节联合起来,得到所述第四图像。
5.根据权利要求1所述的工业表面缺陷多尺度检测方法,其特征在于,得到所述第四图像后,还需要检测图像损失,具体包括如下步骤:
6.根据权利要求5所述的工业表面缺陷多尺度检测方法,其特征在于,得到所述边缘细节损失的方法,具体包括如下步骤:
7.根据权利要求5所述的工业表面缺陷多尺度检测方法,其特征在于,得到所述掩码感知损失的方法,具体包括如下步骤:
8.一种工业表面缺陷多尺度检测系统,其特征在于,所述工业表面缺陷多尺度检测系统包括:
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至7中任一项权利要求所述工业表面缺陷多尺度检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至7中任一项权利要求所述工业表面缺陷多尺度检测方法的步骤。