本技术涉及图像处理,更具体地说,涉及一种图像语义分割方法、装置及设备、存储介质。
背景技术:
1、在服务器制造时,需要对电路板进行外观检测,随着时代的发展,传统的人工检测方法已经被淘汰,基于计算机视觉的检测方法占据市场主流,特别是深度学习卷积神经网络的快速发展,使得图像检测算法取得了较大的进步,广泛应用于各种领域产品的外观识别和质量检测。
2、图像语义分割是将图像中的每个像素归为不同类别,适合于精细领域的图像自动检测。u-net(u型网络)适用于小样本的图像语义分割,特别是做二分类任务时性能尤为出色。但是,将u-net用于电路板等精细产品检测时提取的特征尺寸单一,容易丢失图像信息,导致图像语义分割的准确度较差。
3、因此,如何提高图像语义分割的准确度是本领域技术人员需要解决的技术问题。
技术实现思路
1、本技术的目的在于提供一种图像语义分割方法、装置及设备、存储介质,提高了图像语义分割的准确度。
2、为实现上述目的,本技术提供了一种图像语义分割方法,包括:
3、获取目标电路板图像,将所述目标电路板图像输入图像语义分割模型中;
4、在所述图像语义分割模型中对所述目标电路板图像进行多尺寸卷积操作得到第一尺寸的第一特征图;
5、对所述第一特征图进行多次编码操作得到第二尺寸的第二特征图;其中,所述编码操作包括池化操作、多尺寸卷积操作,所述第二尺寸大于所述第一尺寸;
6、对所述第二特征图进行多次解码操作得到所述第一尺寸的第三特征图;其中,所述解码操作包括转置卷积操作、与编码操作中相同尺寸的特征图的拼接操作、多尺寸卷积操作;
7、基于所述第三特征图确定所述目标电路板图像中像素点的分类结果;
8、根据所述分类结果对所述目标电路板图像进行分割。
9、其中,对所述目标电路板图像进行多尺寸卷积操作得到第一尺寸的第一特征图之后,还包括:
10、对所述第一特征图进行多次空洞卷积操作得到所述第一尺寸的第四特征图;
11、相应的,在最后一次解码操作的过程中,将所述第四特征图作为拼接操作中相同尺寸的特征图。
12、其中,所述多尺寸卷积操作包括:
13、利用不同尺寸的卷积核对输入特征图进行卷积操作得到多个卷积特征图,对多个所述卷积特征图进行拼接,得到拼接特征图;
14、对所述拼接特征图进行批量标准化操作和激活操作得到所述多尺寸卷积操作的输出特征图。
15、其中,所述图像语义分割模型为u-net模型。
16、其中,将所述目标电路板图像输入图像语义分割模型中,包括:
17、将所述目标电路板图像输入多个不同分类对象对应的图像语义分割模型中,以利用不同的图像语义分割模型确定所述目标电路板图像中像素点是否属于对应的分类对象的分类结果;
18、相应的,根据所述分类结果对所述目标电路板图像进行分割,包括:
19、根据不同的图像语义分割模型的分类结果在所述目标电路板图像中确定不同分类对象对应的分割图像区域。
20、其中,根据所述分类结果对所述目标电路板图像进行分割之后,还包括:
21、将不同的分割图像区域分别与对应分类对象的标准图像进行对比,得到所述目标电路板图像的检测结果。
22、其中,利用不同的图像语义分割模型确定所述目标电路板图像中像素点是否属于对应的分类对象的分类结果,包括:
23、若多个图像语义分割模型预测同一目标像素点属于对应的分类对象,则确定所述目标像素点的多个邻域像素点所属的分类对象;
24、将多个所述邻域像素点所属的分类对象中数量最多的分类对象确定为所述目标像素点所属的分类对象。
25、其中,还包括:
26、获取训练电路板图像,在所述训练电路板图像中确定目标分类对象的图像区域;
27、根据所述训练电路板图像中所述目标分类对象的图像区域对所述训练电路板图像中像素点是否属于所述目标分类对象进行标注;
28、将所述训练电路板图像输入待训练图像语义分割模型中;
29、在所述待训练图像语义分割模型中对所训练电路板图像进行多尺寸卷积操作得到所述第一尺寸的第一训练特征图;
30、对所述第一训练特征图进行多次编码操作得到所述第二尺寸的第二训练特征图;
31、对所述第二训练特征图进行多次解码操作得到所述第一尺寸的第三训练特征图;
32、基于所述第三训练特征图确定所述训练电路板图像中像素点的分类预测结果;
33、根据所述训练电路板图像中像素点的分类预测结果和标注结果计算损失值,基于所述损失值训练所述待训练图像语义分割模型得到训练完成的图像语义分割模型;其中,所述训练完成的图像语义分割模型用于预测目标电路板图像中的像素点是否属于所述目标分类对象。
34、为实现上述目的,本技术提供了一种图像语义分割装置,包括:
35、输入模块,用于获取目标电路板图像,将所述目标电路板图像输入图像语义分割模型中;
36、卷积模块,用于在所述图像语义分割模型中对所述目标电路板图像进行多尺寸卷积操作得到第一尺寸的第一特征图;
37、编码模块,用于对所述第一特征图进行多次编码操作得到第二尺寸的第二特征图;其中,所述编码操作包括池化操作、多尺寸卷积操作,所述第二尺寸大于所述第一尺寸;
38、解码模块,用于对所述第二特征图进行多次解码操作得到所述第一尺寸的第三特征图;其中,所述解码操作包括转置卷积操作、与编码操作中相同尺寸的特征图的拼接操作、多尺寸卷积操作;
39、分类模块,用于基于所述第三特征图确定所述目标电路板图像中像素点的分类结果;
40、分割模块,用于根据所述分类结果对所述目标电路板图像进行分割。
41、为实现上述目的,本技术提供了一种电子设备,包括:
42、存储器,用于存储计算机程序;
43、处理器,用于执行所述计算机程序时实现如上述图像语义分割方法的步骤。
44、为实现上述目的,本技术提供了一种非易失性存储介质,所述非易失性存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述图像语义分割方法的步骤。
45、通过以上方案可知,本技术提供的一种图像语义分割方法,包括:获取目标电路板图像,将所述目标电路板图像输入图像语义分割模型中;在所述图像语义分割模型中对所述目标电路板图像进行多尺寸卷积操作得到第一尺寸的第一特征图;对所述第一特征图进行多次编码操作得到第二尺寸的第二特征图;其中,所述编码操作包括池化操作、多尺寸卷积操作,所述第二尺寸大于所述第一尺寸;对所述第二特征图进行多次解码操作得到所述第一尺寸的第三特征图;其中,所述解码操作包括转置卷积操作、与编码操作中相同尺寸的特征图的拼接操作、多尺寸卷积操作;基于所述第三特征图确定所述目标电路板图像中像素点的分类结果;根据所述分类结果对所述目标电路板图像进行分割。
46、本技术提供的图像语义分割方法,由多尺寸卷积操作代替普通卷积操作,采用多个不同尺寸的卷积核进行特征提取,然后进行多尺寸特征的聚合,能够充分利用多尺寸信息聚合的优势,结合图像的多尺寸特征得到输入图像更为本质的高级和低层信息,提高图像语义分割模型的分割能力和预测性能,提高了对电路板图像语义分割的准确性。本技术还公开了一种图像语义分割装置及一种电子设备、一种非易失性存储介质,同样能实现上述技术效果。
47、应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本技术。
1.一种图像语义分割方法,其特征在于,包括:
2.根据权利要求1所述图像语义分割方法,其特征在于,对所述目标电路板图像进行多尺寸卷积操作得到第一尺寸的第一特征图之后,还包括:
3.根据权利要求1所述图像语义分割方法,其特征在于,所述多尺寸卷积操作包括:
4.根据权利要求1所述图像语义分割方法,其特征在于,所述图像语义分割模型为u-net模型。
5.根据权利要求1所述图像语义分割方法,其特征在于,将所述目标电路板图像输入图像语义分割模型中,包括:
6.根据权利要求5所述图像语义分割方法,其特征在于,根据所述分类结果对所述目标电路板图像进行分割之后,还包括:
7.根据权利要求5所述图像语义分割方法,其特征在于,利用不同的图像语义分割模型确定所述目标电路板图像中像素点是否属于对应的分类对象的分类结果,包括:
8.根据权利要求1所述图像语义分割方法,其特征在于,还包括:
9.一种图像语义分割装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:
11.一种非易失性存储介质,其特征在于,所述非易失性存储介质上存储有计算机程序,所述计算机程序被执行时实现如权利要求1至8任一项所述图像语义分割方法的步骤。