本技术涉及图像处理,尤其涉及一种缺陷检测方法、装置、介质、产品及设备。
背景技术:
1、当光伏太阳能板的表面出现气泡、异物、破片等缺陷时,容易导致光伏太阳能板的性能受限。在光伏太阳能板生产过程中,常常需要通过光伏组件的外观来对光伏组件的产品进行质量检测,而光伏组件的产品图像往往通过高精度相机进行采集,且由于例如待测目标缺陷种类较多、尺寸相对图像整体较小、缺陷特征较弱等原因,使用人工来对产品图像进行检测容易产生漏检和过检,并且会产生巨大的人力成本。
技术实现思路
1、为了解决上述技术问题,本技术实施例提出了一种缺陷检测方法、装置、介质、产品及设备。
2、本技术实施例提供了一种缺陷检测方法,包括:
3、获取待检测光伏组件的待检测图像;
4、确定所述待检测图像中像素点的梯度;
5、基于预设的梯度阈值及所述待检测图像中像素点的梯度,对所述待检测图像进行分割,得到多张分割图像;
6、对所述多张分割图像进行缺陷检测,得到检测结果;
7、基于所述检测结果,在所述待检测图像中确定所述待检测光伏组件的缺陷。
8、进一步的,所述确定所述待检测图像中像素点的梯度,包括:
9、通过边缘检测算子,计算所述待检测图像中每一像素点的多个方向梯度;
10、基于所述每一像素点的多个方向梯度,计算所述每一像素点的梯度。
11、进一步的,所述待检测光伏组件包括多块电池片,每一分割图像中包含至少一块电池片,所述基于预设的梯度阈值及所述待检测图像中像素点的梯度,对所述待检测图像进行分割,得到多张分割图像,包括:
12、针对所述每一像素点,若所述像素点的多个方向梯度中的每一个在对应的方向上均非极大值,则删除所述像素点,若所述像素点的多个方向梯度中的任一个在对应的方向上为极大值,则保留所述像素点;
13、将所述待检测图像中所保留的像素点的梯度与所述梯度阈值进行比较,以在所述待检测图像中确定出边缘坐标;
14、基于所述边缘坐标,在所述待检测图像中确定每一块电池片对应的框体坐标;
15、基于所述框体坐标,对所述待检测图像进行分割,得到多张分割图像。
16、进一步的,所述梯度阈值包括梯度最大阈值及梯度最小阈值,所述边缘坐标包括强边缘的坐标以及与所述强边缘相邻的虚边缘的坐标;
17、其中,所述强边缘是梯度大于等于所述梯度最大阈值的像素点,所述虚边缘是梯度小于所述梯度最大阈值且大于所述梯度最小阈值的像素点。
18、进一步的,所述待检测图像为由相机采集得到的高精度图像,所述多张分割图像经由分布式存储的方式存储;
19、在所述通过边缘检测算子,计算所述待检测图像中每一像素点的多个方向梯度之前,所述方法还包括:
20、按预设缩放比例对所述待检测图像进行缩放。
21、进一步的,所述对所述多张分割图像进行缺陷检测,得到检测结果,包括:
22、分别将每一分割图像输入至预训练的缺陷检测模型中进行检测,得到每一分割图像对应的子检测结果;
23、基于所述多张分割图像各自对应的子检测结果,输出所述检测结果;
24、其中,所述缺陷检测模型通过如下步骤训练得到:
25、获取样本数据和预设的模型超参数,其中,所述样本数据包括在对图像数据进行滑窗图像分割处理并标注之后所得到的样本图像,所述图像数据是由相机对光伏组件进行拍摄得到并经由分布式存储的方式存储的;
26、对所述样本数据进行归一化处理;
27、基于归一化处理后的样本数据和所述模型超参数,对通用深度学习模型进行训练,以训练完成的通用深度学习模型作为所述缺陷检测模型。
28、进一步的,所述检测结果至少包括多个缺陷检测框及其对应的置信度,所述基于所述检测结果,在所述待检测图像中确定所述待检测光伏组件的缺陷,包括:
29、将所述多个缺陷检测框划分为至少一个第一缺陷检测框及除所述第一缺陷检测框以外的一个或多个第二缺陷检测框,其中,所述第一缺陷检测框为所述多个缺陷检测框中不与其他的所述缺陷检测框存在重叠部分的所述缺陷检测框;
30、从所述第一缺陷检测框中筛选出置信度不低于预设第一置信度阈值的第一目标检测框;
31、基于预设第二置信度阈值和所述一个或多个第二缺陷检测框及其对应的置信度,确定第二目标检测框;
32、基于所述第一目标检测框及所述第二目标检测框,在所述待检测图像中确定所述待检测光伏组件的缺陷。
33、进一步的,所述基于预设第二置信度阈值和所述一个或多个第二缺陷检测框及其对应的置信度,确定第二目标检测框,包括:
34、对所述一个或多个第二缺陷检测框进行聚类,得到至少一个类,其中,每一个类中包含至少一个第二缺陷检测框;
35、分别对每一个类中包含的第二缺陷检测框及其对应的置信度进行预设权重的融合处理,得到每一个类中包含的至少一个融合检测框及其对应的置信度;
36、基于所述第二置信度阈值、所述一个或多个第二缺陷检测框及其对应的置信度、以及所述至少一个类各自包含的融合检测框及其对应的置信度,确定第二目标检测框。
37、进一步的,所述基于所述第二置信度阈值、所述一个或多个第二缺陷检测框及其对应的置信度、以及所述至少一个类各自包含的融合检测框及其对应的置信度,确定第二目标检测框,包括:
38、对所述一个或多个第二缺陷检测框与所述至少一个类各自包含的融合检测框进行匹配,以生成至少一个合并检测框,其中,每一合并检测框由一个第二缺陷检测框及其匹配成功的融合检测框合并生成;
39、针对每一合并检测框,基于所合并的融合检测框对应的置信度,以及所合并的第二缺陷检测框对应的置信度,计算所述合并检测框对应的合并置信度,并基于所合并的第二缺陷检测框对应的置信度及坐标、所合并的融合检测框对应的置信度及坐标、以及所述合并检测框对应的合并置信度,计算所述合并检测框的坐标;
40、基于所述第二置信度阈值、所述至少一个合并检测框及其坐标以及所述至少一个合并检测框各自对应的合并置信度,确定第二目标检测框。
41、进一步的,所述基于所述第二置信度阈值、所述至少一个合并检测框及其坐标以及所述至少一个合并检测框各自对应的合并置信度,确定第二目标检测框,包括:
42、针对每一合并检测框,基于所合并的第二缺陷检测框对应的置信度,以及与所合并的融合检测框相关联的第二缺陷检测框所对应的置信度,确定所述合并检测框的缺陷种类,其中,每一融合检测框所关联的第二缺陷检测框为通过融合处理生成该融合检测框的所有第二缺陷检测框;
43、从所述至少一个合并检测框中筛选出合并置信度不低于所述第二置信度阈值的合并检测框;
44、基于所筛选的合并检测框的坐标及缺陷种类,确定第二目标检测框。
45、进一步的,所述对所述一个或多个第二缺陷检测框与所述至少一个类各自包含的融合检测框进行匹配,以生成至少一个合并检测框,包括:
46、针对每一第二缺陷检测框,
47、计算所述第二缺陷检测框与所述至少一个类各自包含的融合检测框中的每一个之间的交并比;
48、将所计算的交并比大于预设交并比阈值的融合检测框确定为与所述第二缺陷检测框匹配成功的融合检测框;
49、合并所述第二缺陷检测框与其匹配成功的融合检测框,得到所述第二缺陷检测框对应的合并检测框。
50、本技术实施例还提供了一种缺陷检测装置,包括:
51、待检测图像获取模块,用于获取待检测光伏组件的待检测图像;
52、梯度确定模块,用于确定所述待检测图像中像素点的梯度;
53、分割模块,用于基于预设的梯度阈值及所述待检测图像中像素点的梯度,对所述待检测图像进行分割,得到多张分割图像;
54、检测模块,用于对所述多张分割图像进行缺陷检测,得到检测结果;
55、缺陷确定模块,用于基于所述检测结果,在所述待检测图像中确定所述待检测光伏组件的缺陷。
56、本技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的缺陷检测方法的步骤。
57、本技术实施例还提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现上述任一项所述的缺陷检测方法的步骤。
58、本技术实施例还提供了一种计算机设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的缺陷检测方法的步骤。
59、综上,本技术实施例至少具有以下有益效果:
60、采用本技术实施例,通过获取待检测光伏组件的待检测图像;确定所述待检测图像中像素点的梯度;基于预设的梯度阈值及所述待检测图像中像素点的梯度,对所述待检测图像进行分割,得到多张分割图像;对所述多张分割图像进行缺陷检测,得到检测结果;基于所述检测结果,在所述待检测图像中确定所述待检测光伏组件的缺陷,从而能够通过对分割图像的缺陷检测处理,来自动完成对于待检测光伏组件的检测,并由于对该待检测图像进行了分割,从而可以提高在缺陷检测时的检测效率及检测精度,以精准确定出待检测光伏组件上的缺陷,降低漏检率。
1.一种缺陷检测方法,其特征在于,包括:
2.如权利要求1所述的缺陷检测方法,其特征在于,所述确定所述待检测图像中像素点的梯度,包括:
3.如权利要求2所述的缺陷检测方法,其特征在于,所述待检测光伏组件包括多块电池片,每一分割图像中包含至少一块电池片,所述基于预设的梯度阈值及所述待检测图像中像素点的梯度,对所述待检测图像进行分割,得到多张分割图像,包括:
4.如权利要求3所述的缺陷检测方法,其特征在于,所述梯度阈值包括梯度最大阈值及梯度最小阈值,所述边缘坐标包括强边缘的坐标以及与所述强边缘相邻的虚边缘的坐标;
5.如权利要求2所述的缺陷检测方法,其特征在于,所述待检测图像为由相机采集得到的高精度图像,所述多张分割图像经由分布式存储的方式存储;
6.如权利要求1-5任一项所述的缺陷检测方法,其特征在于,所述对所述多张分割图像进行缺陷检测,得到检测结果,包括:
7.如权利要求1-5任一项所述的缺陷检测方法,其特征在于,所述检测结果至少包括多个缺陷检测框及其对应的置信度,所述基于所述检测结果,在所述待检测图像中确定所述待检测光伏组件的缺陷,包括:
8.如权利要求7所述的缺陷检测方法,其特征在于,所述基于预设第二置信度阈值和所述一个或多个第二缺陷检测框及其对应的置信度,确定第二目标检测框,包括:
9.如权利要求8所述的缺陷检测方法,其特征在于,所述基于所述第二置信度阈值、所述一个或多个第二缺陷检测框及其对应的置信度、以及所述至少一个类各自包含的融合检测框及其对应的置信度,确定第二目标检测框,包括:
10.如权利要求9所述的缺陷检测方法,其特征在于,所述基于所述第二置信度阈值、所述至少一个合并检测框及其坐标以及所述至少一个合并检测框各自对应的合并置信度,确定第二目标检测框,包括:
11.如权利要求9所述的缺陷检测方法,其特征在于,所述对所述一个或多个第二缺陷检测框与所述至少一个类各自包含的融合检测框进行匹配,以生成至少一个合并检测框,包括:
12.一种缺陷检测装置,其特征在于,包括:
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-11任一项所述的缺陷检测方法。
14.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时实现权利要求1-11任一项所述的缺陷检测方法。
15.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-11任一项所述的缺陷检测方法。