本申请涉及无线通信,尤其涉及一种图片类别识别模型训练方法、装置、设备及存储介质。
背景技术:
1、目前,在工业质检中,人工无法通过人眼来识别一些小的缺陷,这样就导致了一些质量隐患,这就需要使用机器视觉来对检测对象的缺陷进行检测。但是,工业质检领域中缺陷样本数量稀缺,且人造缺陷难以模拟实际缺陷,导致对缺陷产品的识别精度较差。
技术实现思路
1、有鉴于此,本申请实施例期望提供一种图片类别识别模型训练方法、装置、设备及存储介质。
2、本申请实施例的技术方案是这样实现的:
3、本申请实施例提供一种图片类别识别模型训练方法,所述方法包括:
4、获取样本集合;所述样本集合包括多个三元组集合;每个所述三元组集合由正样本图片、负样本图片和查询图片组成;所述正样本图片为检测对象正常的图片;所述负样本图片为检测对象存在缺陷的图片;所述查询图片的类别为检测对象正常或者检测对象存在缺陷;
5、将所述样本集合作为训练数据,将所述训练数据输入至预设模型进行训练,得到用于预测图片类别的图片类别识别模型。
6、此外,根据本申请的至少一个实施例,所述检测对象为电池电芯的极耳。
7、此外,根据本申请的至少一个实施例,所述方法还包括:
8、获取待测试图片;
9、利用所述图片类别识别模型对所述待测试图片进行预测,输出所述待测试图片的所属图片类别。
10、此外,根据本申请的至少一个实施例,所述方法还包括:
11、获取所述多个三元组集合。
12、此外,根据本申请的至少一个实施例,所述获取所述多个三元组集合,包括:
13、获取图片数据集合;
14、根据所述图片数据集合,确定每次迭代使用的三元组集合,得到所述多个三元组集合。
15、此外,根据本申请的至少一个实施例,所述根据所述图片数据集合,确定每次迭代使用的三元组集合,包括:
16、在第i次迭代中,从第一图片集合中选取第i个正样本图片,从第二图片集合中选取第i个负样本图片;所述第一图片集合包括标记为正样本类别的图片;所述第二图片集合包括标记为负样本类别的图片;
17、从所述第一图片集合中除第i个正样本图片之外的剩余图片数据或者从所述第二图片集合中除第i个负样本图片之外的剩余图片数据中随机抽取q个查询图片;其中,q为正整数;
18、基于所述第i个正样本图片和所述第i个负样本图片,以及所述第q个查询图片,生成第i次迭代使用的三元组集合;
19、将所述第一图片集合中除所述第i个正样本图片之外的剩余图片数据作为第i+1次迭代使用的图片数据集合,将所述第二图片集合中除所述第i个负样本图片之外的剩余图片数据作为第i+1次迭代使用的图片数据集合;
20、其中,i为从1开始递增的整数变量。
21、此外,根据本申请的至少一个实施例,所述将所述样本集合作为训练数据,将所述训练数据输入至预设模型进行训练,包括:
22、通过特征提取单元,对所述正样本图片进行特征提取,得到所述正样本图片对应的第一嵌入向量;对所述负样本图片进行特征提取,得到所述负样本图片对应的第二嵌入向量;对所述查询图片进行特征提取,得到所述查询图片对应的第三嵌入向量;
23、通过特征融合单元,将所述第三嵌入向量与所述第一嵌入向量进行连接处理,得到第一融合特征向量;将所述第三嵌入向量与所述第二嵌入向量进行连接处理,得到第二融合特征向量;
24、通过网络单元,基于所述第一融合特征向量与所述第二融合特征向量,对所述预设模型进行训练。
25、此外,根据本申请的至少一个实施例,所述基于所述第一融合特征向量与所述第二融合特征向量,对所述预设模型进行训练,包括:
26、基于所述第一融合特征向量与所述正样本图片的标签,以及所述第二融合特征向量与所述负样本图片的标签,计算损失值;
27、基于所述损失值对所述预设模型的参数进行更新,以训练所述预设模型。
28、此外,根据本申请的至少一个实施例,所述利用所述图片类别识别模型对所述待测试图片进行预测,包括:
29、获取全部正样本图片和全部负样本图片;
30、对所述全部正样本图片分别进行特征提取,得到每个正样本图片分别对应的第四嵌入向量;对全部第四嵌入向量进行聚类,得到第一中心特征;
31、对所述全部正样本图片分别进行特征提取,得到每个正样本图片分别对应的第五嵌入向量;对全部第五嵌入向量进行聚类,得到第二中心特征;
32、基于所述第一中心特征、所述第二中心特征,对待测试图片进行预测。
33、此外,根据本申请的至少一个实施例,所述基于所述第一中心特征、所述第二中心特征,对待测试图片进行预测,包括:
34、对所述待测试图片进行特征提取,得到所述待测试图片对应的第六嵌入向量;
35、基于所述第一中心特征、所述第二中心特征和所述第六嵌入向量,对所述待测试图片进行预测。
36、本申请的至少一个实施例提供一种图片类别识别模型训练装置,包括:
37、获取模块,用于获取样本集合;所述样本集合包括多个三元组集合;每个所述三元组集合由正样本图片、负样本图片和查询图片组成;所述正样本图片为检测对象正常的图片;所述负样本图片为检测对象存在缺陷的图片;所述查询图片的类别为检测对象正常或者检测对象存在缺陷;
38、处理模块,用于将所述样本集合作为训练数据,将所述训练数据输入至预设模型进行训练,得到用于预测图片类别的图片类别识别模型。
39、本申请的至少一个实施例提供一种网络设备,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器,
40、其中,所述处理器用于运行所述计算机程序时,执行上述任一项所述图片类别识别模型训练方法的步骤。
41、本申请的至少一个实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述图片类别识别模型训练方法的步骤。
42、本申请实施例提供的图片类别识别模型训练方法、装置、设备及存储介质,通过检测对象正常的图片、检测对象存在缺陷的图片和查询图片作为训练数据,得到图片类别识别模型,仅需少量存在缺陷的图片,就可以完成模型训练,后续可以利用得到的图片类别识别模型识别人工未发现的新缺陷,从而提高了对缺陷产品的识别精度,也就是说,针对工业质检领域中缺陷样本数量稀缺,且人造缺陷难以模拟实际缺陷的现状,提供了一种基于训练得到的图片类别识别网络模型对检测对象的缺陷进行检测的方法,使得对模型推理的数据集规模和识别类别不再限制,仅需少量缺陷图片即可完成训练,并可识别未发现的新缺陷,从而实现对缺陷产品(包括未知类别)的高精度识别;另外,适用于工业其他类似场景的应用,具有复用性;是一整套完整的、可落地的质检方案。
1.一种图片类别识别模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述检测对象为电池电芯的极耳。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述获取所述多个三元组集合,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述图片数据集合,确定每次迭代使用的三元组集合,包括:
7.根据权利要求1所述的方法,其特征在于,所述将所述样本集合作为训练数据,将所述训练数据输入至预设模型进行训练,包括:
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一融合特征向量与所述第二融合特征向量,对所述预设模型进行训练,包括:
9.根据权利要求3所述的方法,其特征在于,所述利用所述图片类别识别模型对所述待测试图片进行预测,包括:
10.根据权利要求9所述的方法,其特征在于,所述基于所述第一中心特征、所述第二中心特征,对待测试图片进行预测,包括:
11.一种图片类别识别模型训练装置,其特征在于,包括:
12.一种网络设备,其特征在于,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器,
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10任一项所述图片类别识别模型训练方法的步骤。