本发明涉及计算机视觉和深度学习,具体地说是一种基于图像处理的喷码字符缺陷检测方法、设备及介质。
背景技术:
1、目前,主流的工业产品缺陷检测采用传统图像处理方法实现,存在易受环境光、背景干扰、算法复用性差、仅能适应简单缺陷目标等问题。传统的字符质检技术主要依靠人工进行判定,该质检过程主要考验质检员的仔细程度和经验技术,失误率较高、质检效率低、不同质检员的质检标准可能不一致,因此质检难度较大。深度学习技术经过多年发展,已具备解决缺陷形态复杂、环境复杂目标的检测能力,覆盖场景更多。
2、故如何减轻质检员工作负担,提高之间效率和准确率,降低生产成本是目前亟待解决的技术问题。
技术实现思路
1、本发明的技术任务是提供一种基于图像处理的喷码字符缺陷检测方法、设备及介质,来解决如何减轻质检员工作负担,提高之间效率和准确率,降低生产成本的问题。
2、本发明的技术任务是按以下方式实现的,一种基于图像处理的喷码字符缺陷检测方法,该方法具体如下:
3、收集有关字符缺陷的训练数据集,单独对每个字符通过labelimg进行标注,包括汉字、数字及英文字符;
4、采用one-stage模型,对每个字符单独检测,直接进行缺陷与否的判定;
5、运用focal loss损失函数,训练one-stage模型;
6、在yolov5模型以及focal loss损失函数的基础上,增加特征检测层,用于模型自动分析和识别不同大小的目标,提升对各种规模目标的识别能力;
7、对检测结果进行算法后处理,利用目标之间的空间关系将相邻边界框合并,捕捉目标对象的整体特征;
8、最终的分类决策是基于空间位置和类别统计的融合结果,提高目标分类的准确性。
9、作为优选,采用one-stage模型,对每个字符单独检测,直接进行缺陷与否的判定具体如下:
10、通过目标检测网络检测到单个字符的边界框,通过算法后处理将相邻字符进行合并,根据阈值进行调整判断标准。
11、作为优选,算法后处理用于处理后续单个字符的边界框。
12、作为优选,特征检测层采用四个不同的特征图,具体如下:
13、设定特征检测层包含四个特征图fi,i={1,2,3,4};
14、其中,fi表示第i个特征图;i=1表示最高分辨率;对于fi,fi的大小为wi×hi;其中,wi和hi分别表示特征图的宽度和高度,公式如下:
15、wi=w0/(2^i);
16、hi=h0/(2^i);
17、其中,wi=w0/(2^i)及hi=h0/(2^i)用于描述特征图的尺寸随着深度的增加而减小的情况。
18、作为优选,focal loss损失函数公式如下:
19、fl(pt) = -αt (1 - pt) ^ γ log (pt);
20、其中,pt表示样本被正确分类的概率;αt表示平衡因子;γ表示调节因子,通过调整γ,解决类别不平衡的问题,使模型更加关注难学习的样本,更加符合喷码字符缺陷的实际环境,训练出模型精度更高,检测效果更优。
21、作为优选,对检测结果进行算法后处理具体如下:
22、对图像中的可能目标进行边界框识别和定位,形成初步的目标检测结构;
23、通过max_x、max_y、min_x、min_y对初步检测结构中的相邻或重叠的边界框根据预测框的x轴和y轴位置进行过滤,消除冗余和错位的边界框,从而避免重复框;
24、将相邻或重叠的单字符预测框合并,形成一个更大的预测框,从而捕获更多的上下文信息,有助于提升字符识别的准确性;
25、设置一个阈值,用于判断生成的预测框是否存在缺陷:
26、若预测框的准确率、匹配度或其他量化指标低于阈值时,则认定对应预测框存在问题;
27、若预测框的准确率、匹配度或其他量化指标高于阈值时,则认定对应预测框正常。
28、作为优选,对检测结果判断过程中,还使用score对比策略,通过对比各预测框的score得分,从而过滤掉得分较低的重复框。
29、更优地,对检测结果判断过程中,还加入线缆边缘过滤处理,通过区域模型获取线缆的坐标,通过字符框的坐标和线缆的坐标,再根据不同的线径设定阈值,进而过滤掉翻转字符的位置范围。
30、一种电子设备,包括:存储器和至少一个处理器;
31、其中,所述存储器上存储有计算机程序;
32、所述至少一个处理器执行所述存储器存储的计算机程序,使得所述至少一个处理器执行如上述的基于图像处理的喷码字符缺陷检测方法。
33、一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序可被处理器执行以实现如上述的基于图像处理的喷码字符缺陷检测方法。
34、本发明的基于图像处理的喷码字符缺陷检测方法、设备及介质具有以下优点:
35、(一)本发明使用机器视觉替代人工视觉质检,既可以减轻质检员工作负担,又可以提高质检效率和准确率,提高生产力,降低生产成本;
36、(二)本发明针对喷码字符缺陷特点,有效利用计算机视觉技术和深度学习技术的优势,实现字符生产工序中散点、扭曲、喷印不全、遮挡、间距过大等缺陷的智能精准检出,提升实时检测的检出率,降低误检率;
37、(三)本发明在全自动环境中检测出字符缺陷,以此提高字符质量和完整性,降低了对外部资源的依赖,同时也符合了对于信息安全的要求;
38、(四)本发明通过对yolov5目标检测模型的优化,增加额外的特征检测层,进一步提升了对于小目标检测任务的精度,优化方式采用了四个具有不同感受野的检测层,以提升对小目标检测的精度,不仅增强了模型对于不同尺度目标的适应性,而且还提升了模型的可扩展性;
39、(五)本发明通过设计算法后处理将字符特征进行融合,提高了目标对象的检测准确性,显著减少了误检情况,增强了整体的目标检测和分类性能;
40、(六)本发明设计融合字符特征,进行整体字符判定,提高了目标对象的检测准确性,显著减少误检情况;
41、(七)本发明通过加入score对比策略,在精确捕获目标对象的整体特征方面,提高了目标分类的精度,显著地减少了误检的可能性;
42、(八)本发明设计边缘角度过滤,根据线缆旋转程度对不完整字符进行过滤,解决因生产过程中线缆旋转形成的不完整字符导致的误检问题。
1.一种基于图像处理的喷码字符缺陷检测方法,其特征在于,该方法具体如下:
2.根据权利要求1所述的基于图像处理的喷码字符缺陷检测方法,其特征在于,采用one-stage模型,对每个字符单独检测,直接进行缺陷与否的判定具体如下:
3.根据权利要求1所述的基于图像处理的喷码字符缺陷检测方法,其特征在于,算法后处理用于处理后续单个字符的边界框。
4.根据权利要求1所述的基于图像处理的喷码字符缺陷检测方法,其特征在于,特征检测层采用四个不同的特征图,具体如下:
5.根据权利要求1所述的基于图像处理的喷码字符缺陷检测方法,其特征在于,focalloss损失函数公式如下:
6.根据权利要求1所述的基于图像处理的喷码字符缺陷检测方法,其特征在于,对检测结果进行算法后处理具体如下:
7.根据权利要求1所述的基于图像处理的喷码字符缺陷检测方法,其特征在于,对检测结果判断过程中,还使用score对比策略,通过对比各预测框的score得分,从而过滤掉得分较低的重复框。
8.根据权利要求1-7中任一项所述的基于图像处理的喷码字符缺陷检测方法,其特征在于,对检测结果判断过程中,还加入线缆边缘过滤处理,通过区域模型获取线缆的坐标,通过字符框的坐标和线缆的坐标,再根据不同的线径设定阈值,进而过滤掉翻转字符的位置范围。
9.一种电子设备,其特征在于,包括:存储器和至少一个处理器;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序可被处理器执行以实现如权利要求1至8中任一项所述的基于图像处理的喷码字符缺陷检测方法。
