本技术涉及图像处理,具体涉及一种图像分类模型训练方法、装置、设备及介质。
背景技术:
1、随着人工智能技术的发展,利用人工智能模型可以实现多种任务处理。比如,可以利用图像分类模型实现图像分类。
2、为了实现图像分类模型能够对多种类别的图像进行识别,以实习广义类别发现,相关技术中,往往是依靠人工进行图像数据标注,但是费时费力,并且只能对部分数据进行标注,而在现实世界中往往会涉及到海量的图像数据,在图像分类模型训练的过程中,还会采用大量的未标注的图像数据,然后再通过已标注图像数据和未标注图像数据训练图像分类模型。
3、在图像分类模型训练的过程中,会出现通过已标注图像类别数据对应的学习参数传递到新的图像类别对应的学习参数中,但是在图像分类模型训练的过程中,容易引起图像分类模型在训练过程中出现灾难性遗忘的问题,最终导致训练后的图像分类模型的图像分类准确性低。
技术实现思路
1、本技术实施例提供一种图像分类模型训练方法、装置、设备及介质。能够准确计算出图像分类模型在训练过程中的模型损失,利用模型损失对图像分类模型进行迭代训练,从而避免图像分类模型在训练过程中出现灾难性遗忘的问题,使得训练后的图像分类模型拥有较高的图像分类准确性。
2、根据本技术的一方面,提供了一种图像分类模型训练方法,包括:
3、获取原始图像集,确定出原始图像集中每个原始图像对应的至少两个视图,并将视图确定为训练图像,得到训练图像集,训练图像集中包含已标注训练图像和未标注训练图像;
4、获取每个训练图像对应的图像特征向量,并根据图像特征向量确定出图像分类模型对应的对比学习损失;
5、将图像特征向量输入至图像分类模型中,输出每个训练图像对应的图像类别概率,并根据图像类别概率和已标注训练图像的标签,确定出图像分类模型对应的分类损失;
6、根据图像类别概率在未标注训练图像中确定出目标训练图像,目标训练图像的图像类别为训练图像对应的已知图像类别;
7、根据目标训练图像对应的图像类别概率,确定出图像分类模型对应的局部熵正则化损失;
8、根据对比学习损失、分类损失和局部熵正则化损失确定出图像分类模型对应的模型损失,并根据模型损失更新图像分类模型的模型参数,以对图像分类模型进行迭代训练。
9、根据本技术的一方面,提供了一种图像分类模型训练装置,包括:
10、获取模块,用于获取原始图像集,确定出原始图像集中每个原始图像对应的至少两个视图,并将视图确定为训练图像,得到训练图像集,训练图像集中包含已标注训练图像和未标注训练图像;
11、第一损失模块,用于获取每个训练图像对应的图像特征向量,并根据图像特征向量确定出图像分类模型对应的对比学习损失;
12、第二损失模块,用于将图像特征向量输入至图像分类模型中,输出每个训练图像对应的图像类别概率,并根据图像类别概率和已标注训练图像的标签,确定出图像分类模型对应的分类损失;
13、确定模块,用于根据图像类别概率在未标注训练图像中确定出目标训练图像,目标训练图像的图像类别为训练图像对应的已知图像类别;
14、第三损失模块,用于根据目标训练图像对应的图像类别概率,确定出图像分类模型对应的局部熵正则化损失;
15、第四损失模块,用于根据对比学习损失、分类损失和局部熵正则化损失确定出图像分类模型对应的模型损失,并根据模型损失更新图像分类模型的模型参数,以对图像分类模型进行迭代训练。
16、在一些实施方式中,第一损失模块包括特征提取子模块、无监督子模块、有监督子模块和确定子模块;
17、特征提取子模块,用于将图像特征向量输入到多层感知机中,输出每个训练图像对应的目标图像特征向量;
18、无监督子模块,用于根据目标图像特征向量和第一温度系数计算出图像分类模型对应的无监督对比学习损失;
19、有监督子模块,用于根据第二温度系数和已标注训练图像的目标图像特征向量确定出图像分类模型对应的有监督对比学习损失;
20、确定子模块,用于根据无监督对比学习损失和有监督对比学习损失,确定出图像分类模型对应的对比学习损失。
21、在一些实施方式中,无监督子模块,用于在训练图像中确定出基于同一原始图像生成的关联训练图像;
22、根据第一温度系数和关联训练图像的目标图像特征向量,确定出关联训练图像之间的第一距离;
23、根据第一温度系数和训练图像的目标图像特征向量,确定出任一训练图像和非关联训练图像之间的第二距离;
24、根据第一距离和第二距离确定出图像分类模型对应的无监督对比学习损失。
25、在一些实施方式中,有监督子模块,用于在已标注训练图像中,确定出相同标签的训练图像;
26、根据第二温度系数和相同标签的训练图像的目标图像特征向量,确定出相同标签的训练图像之间的第三距离;
27、根据第二温度系数和已标注训练图像的目标图像特征向量,确定出任一已标注训练图像和其他已标注训练图像之间的第四距离;
28、根据第三距离和第四距离确定出图像分类模型对应的有监督对比学习损失。
29、在一些实施方式中,第二损失模块包括第一子损失模块、第二子损失模块、约束子模块和第三子损失模块;
30、第一子损失模块,用于根据未标注训练图像的图像类别概率,确定出图像分类模型对应的第一交叉熵损失;
31、第二子损失模块,用于根据已标注训练图像的图像类别概率和已标注训练图像的标签,确定出图像分类模型对应的第二交叉熵损失;
32、约束子模块,用于基于训练图像的图像类别概率确定出图像分类模型对应的平均熵正则化约束;
33、第三子损失模块,用于根据第一交叉熵损失、第二交叉熵损失和平均熵正则化约束确定出图像分类模型对应的分类损失。
34、在一些实施方式中,约束子模块,用于在训练图像中确定出基于同一原始图像生成的关联训练图像;
35、确定关联训练图像的图像类别概率的和值;
36、确定图像分类模型在当前训练过程中对应的训练图像的数量;
37、根据和值和数量确定出图像分类模型对应的平均熵正则化约束。
38、在一些实施方式中,第三子损失模块,用于确定平均熵正则化约束对应的权重系数,并将权重系数乘以平均熵正则化约束,得到目标平均熵正则化约束;
39、根据第一交叉熵损失、第二交叉熵损失和目标平均熵正则化约束确定出训练图像对应的分类损失。
40、在一些实施方式中,第三子损失模块,用于根据数量和关联训练图像的图像类别概率,确定出关联训练图像对应的双视图散度约束;
41、根据第一交叉熵损失、第二交叉熵损失、目标平均熵正则化约束和双视图散度约束确定出训练图像对应的分类损失。
42、在一些实施方式中,确定模块,用于根据图像类别概率在未标注训练图像中确定出高于预设概率预设阈值的候选训练图像;
43、根据候选训练图像的图像类别概率确定出候选训练图像的目标图像类别;
44、将目标图像类别为已知图像类别的候选训练图像确定为目标训练图像。
45、第三损失模块,用于根据第三温度系数和目标训练图像的图像类别概率确定出图像分类模型对应的熵正则化约束;
46、确定图像分类模型在当前训练过程中对应的训练图像的数量;
47、根据目标训练图像对应的熵正则化约束和目标数量确定出图像分类模型对应的局部熵正则化损失。
48、第四损失模块,用于将对比学习损失和分类损失相加后的和值乘以第一损失权重,得到第一结果;
49、将局部熵正则化损失乘以第二损失权重,得到第二结果;
50、将第一结果和第二结果相加,得到图像分类模型对应的模型损失。
51、根据本技术的一方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本技术实施例提供的图像分类模型训练方法。
52、根据本技术的一方面,一种计算机设备,包括存储器、处理器以及存储在存储器中并可以在处理器上运行的计算机程序,处理器执行计算机程序时实现本技术实施例提供的图像分类模型训练方法。
53、在本技术实施例中,通过获取原始图像集,确定出原始图像集中每个原始图像对应的至少两个视图,并将视图确定为训练图像,得到训练图像集,训练图像集中包含已标注训练图像和未标注训练图像;获取每个训练图像对应的图像特征向量,并根据图像特征向量确定出图像分类模型对应的对比学习损失;将图像特征向量输入至图像分类模型中,输出每个训练图像对应的图像类别概率,并根据图像类别概率和已标注训练图像的标签,确定出图像分类模型对应的分类损失;根据图像类别概率在未标注训练图像中确定出目标训练图像,目标训练图像的图像类别为训练图像对应的已知图像类别;根据目标训练图像对应的图像类别概率,确定出图像分类模型对应的局部熵正则化损失;根据对比学习损失、分类损失和局部熵正则化损失确定出图像分类模型对应的模型损失,并根据模型损失更新图像分类模型的模型参数,以对图像分类模型进行迭代训练。在本技术实施例中,通过确定出图像分类模型对应的对比学习损失,能够提高图像分类模型对不同训练图像的图像特征提取能力,能够提高图像分类模型对不同训练图像的分类能力。通过在未标注的训练图像中已知图像类别的目标训练图像的图像类别概率,确定出图像分类模型对应的局部熵正则化损失,这有助于图像分类模型在学习新图像类别时保留与已知图像类别相关的知识,避免图像分类模型在训练过程中出现灾难性遗忘问题。另外通过确定出训练图像对应的分类损失有助于提高图像分类模型对训练图像中的新图像类别识别能力。以此,通过对比学习损失、分类损失和局部熵正则化损失确定出的模型损失能够更加准确的指导图像分类模型的训练方向,从而避免图像分类模型在训练过程中出现灾难性遗忘的问题,使得训练后的图像分类模型拥有更高的图像分类准确性。
54、本技术的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
1.一种图像分类模型训练方法,其特征在于,包括:
2.根据权利要求1所述的图像分类模型训练方法,其特征在于,所述根据所述图像特征向量确定出图像分类模型对应的对比学习损失,包括:
3.根据权利要求2所述的图像分类模型训练方法,其特征在于,所述根据所述目标图像特征向量和第一温度系数计算出所述图像分类模型对应的无监督对比学习损失,包括:
4.根据权利要求2所述的图像分类模型训练方法,其特征在于,所述根据第二温度系数和所述已标注训练图像的所述目标图像特征向量确定出所述图像分类模型对应的有监督对比学习损失,包括:
5.根据权利要求1所述的图像分类模型训练方法,其特征在于,所述根据所述图像类别概率和所述已标注训练图像的标签,确定出所述图像分类模型对应的分类损失,包括:
6.根据权利要求5所述的图像分类模型训练方法,其特征在于,所述基于所述训练图像的所述图像类别概率确定出所述图像分类模型对应的平均熵正则化约束,包括:
7.根据权利要求6所述的图像分类模型训练方法,其特征在于,所述根据所述第一交叉熵损失、所述第二交叉熵损失和所述平均熵正则化约束确定出所述图像分类模型对应的分类损失,包括:
8.根据权利要求7所述的图像分类模型训练方法,其特征在于,所述根据所述第一交叉熵损失、所述第二交叉熵损失和所述目标平均熵正则化约束确定出所述训练图像对应的分类损失,包括:
9.根据权利要求1所述的图像分类模型训练方法,其特征在于,所述根据所述图像类别概率在所述未标注训练图像中确定出目标训练图像,包括:
10.根据权利要求1所述的图像分类模型训练方法,其特征在于,所述根据所述目标训练图像对应的图像类别概率,确定出所述图像分类模型对应的局部熵正则化损失,包括:
11.根据权利要求1所述的图像分类模型训练方法,其特征在于,所述根据所述对比学习损失、所述分类损失和所述局部熵正则化损失确定出所述图像分类模型对应的模型损失,包括:
12.一种图像分类模型训练装置,其特征在于,包括:
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至11任一项所述的图像分类模型训练方法。
14.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11任一项所述的图像分类模型训练方法。