图像合成网络的训练方法、图像识别方法及相关装置与流程

    技术2024-12-07  21


    本技术涉及图像处理领域,更具体地,涉及一种图像合成网络的训练方法、图像识别方法及相关装置。


    背景技术:

    1、图像识别技术是基于图像(如人脸图像)提取特征信息以识别各种不同模式的目标和对像的技术。传统的图像识别模型通常是基于可见光图像构建的。但是,同一身份的异质图像之间往往存在较大的差异,这可能会导致基于可见光图像构建图像识别模型无法准确地提取异质图像(如近红外图像)的特征,使得识别精度下降。此外,基于可见光图像进行图像识别还存在受光照条件影响较大的缺陷。

    2、为了解决异质图像的识别问题,现有技术中可以基于合成的方法实现跨域图像转换,将异质图像识别问题简化为同质图像识别。例如,图像合成网络可以为如包括生成器和鉴别器的gan(generative adversarial network,生成对抗网络),通过生成器将源图像(如可见光人脸图像)转换成跨域图像(如近红外人脸图像),采用鉴别器来识别近红外图像是否为可见光图像的异质图像。

    3、在现有技术中,在生成器中通过对源图像进行编码来提取图像的特征信息可能导致迁移不佳或者一些细节信息的丢失,这样会降低生成图像的质量,从而降低图像的识别精度。


    技术实现思路

    1、本技术实施例提供一种图像合成网络的训练方法、图像识别方法及相关装置,能够使生成的异质图像保留更多的特征信息,有效地约束身份特征的一致性,从而提高图像识别的精度。

    2、第一方面,提供了图像合成网络的训练方法,该图像合成网络包括第一生成器和第一鉴别器,该第一生成器包括第一预训练模型和第一解码模型,该方法包括:将样本图像集中的第一样本图像输入当前迭代的图像合成网络的第一预训练模型,其中该第一预训练模型的初始迭代模型是基于图像识别的神经网络对开源图像集进行训练得到的,该开源图像集包括第一域的图像集和第二域的图像集,该第一域和该第二域不同;基于该第一预训练模型提取该第一样本图像的第一内容特征,其中该第一样本图像属于第一域;基于该第一解码模型根据该第一内容特征和该第二域的风格特征生成第二图像;基于该第一鉴别器,根据合成网络损失函数鉴别该第二图像是否为该第一样本图像的异质图像,其中该合成网络损失函数包括第一对抗损失和第一内容特征损失,该第一对抗损失用于使得该第二图像的分布与该第一样本图像对应的第一真实图像的分布逼近,该第一内容特征损失用于保证生成的该第二图像与该第一样本图像的内容特征一致性;以及调整该当前迭代的图像合成网络的模型参数以进行下一次迭代训练直到该合成网络损失函数满足预设条件。

    3、可选地,图像合成网络可以为人脸图像合成网络,样本图像集可以包括样本人脸图像集,该第一域的图像集可以包括第一域的人脸图像集,该第二域的图像集可以包括第二域的人脸图像集,该第一内容特征可以包括第一身份特征,人脸图像合成网络的训练方法可以包括:

    4、将该样本人脸图像集的第一样本人脸图像输入当前迭代的人脸图像合成网络的第一预训练模型;基于该第一预训练模型提取该第一样本图像的身份特征;基于该第一解码模型根据该第一身份特征和该第二域的风格特征生成第二人脸图像;基于该第一鉴别器,根据合成网络损失函数鉴别该第二人脸图像是否为该第一样本人脸图像的异质图像,以及调整该当前迭代的人脸图像合成网络的模型参数以进行下一次迭代训练直到该合成网络损失函数满足预设条件。其中,该第一对抗损失可以用于使得该第二人脸图像的分布与该第一样本人脸图像对应的第一真实图像的分布逼近,该第一内容特征损失可以包括第一身份特征损失,用于保证生成的该第二人脸图像与该第一样本人脸图像的身份特征一致性。

    5、结合第一方面,在一种可能的实现方式中,该图像合成网络还包括第二生成器,该第二生成器包括第二预训练模型和第二解码模型;该方法还可以包括:将该第二图像输入当前迭代的图像合成网络的第二预训练模型,其中该第二预训练模型的初始迭代模型是基于该图像识别的神经网络对该开源图像集进行训练得到的;基于该第二预训练模型提取该第二图像的第二内容特征;和基于该第二解码模型根据该第二内容特征和该第一域的风格特征生成第三图像;其中,该合成网络损失函数还可以包括该第一循环一致性损失,该第一循环一致性损失用于保证该第三图像与该第一样本图像的一致性。

    6、可选地,基于该第一预训练模型可以提取该第一域的风格特征。

    7、进一步地,图像合成网络还可以包括第二鉴别器。

    8、样本集图像还包括属于第二域的第二样本图像,将该第二样本图像输入该第二预训练模型提取第三内容特征,基于该第二解码模型根据该第三内容特征和该第一域的风格特征生成第四图像;以及将该第四图像输入该第一预训练模型提取第四内容特征,基于该第一解码模型根据该第四内容特征和该第二域的风格特征生成第五图像;基于该第二鉴别器,根据该合成网络损失函数鉴别该第五图像是否为该第二样本图像的异质图像。其中,该合成网络损失函数还可以包括第二对抗损失、第二内容特征损失和第二循环一致性损失,该第二对抗损失用于使得该第四图像的分布与该第二样本图像对应的第二真实图像的分布逼近,该第二内容特征损失用于保证生成的该第四图像与该第二样本图像的内容特征一致性,该第二循环一致性损失用于保证该第五图像与该第二样本图像的一致性。

    9、可选地,基于该第二预训练模型可以提取该第二域的风格特征。

    10、可选地,该第一对抗损失llsgan1由下式确定:

    11、

    12、该第二对抗损失llsgan2由下式确定:

    13、

    14、包括该第一循环一致性损失和该第二循环一致性损失的循环一致性损失lcyc由下式确定:

    15、

    16、包括该第一内容特征损失和该第二内容特征损失的内容特征损失lcos由下式确定:

    17、

    18、其中,i1表示该第一真实图像,i2表示该第二真实图像,g1表示将该第二域的该第二样本图像生成该第四图像的该第二生成器,g2表示将该第一域的该第一样本图像生成该第二图像转换的该第一生成器,d1表示该第二域的第二样本图像向该第一域的图像转换时用于鉴别的该第二鉴别器,d2表示该第一域的该第一样本图像向该第二域的图像转换时用于鉴别的该第一鉴别器,d1(i1)表示将该第一真实图像输入到该第二鉴别器的输出,d2(i2)表示将该第二真实图像输入到该第二鉴别器的输出,g2(i1)表示将该第一真实图像输入到该第一生成器的输出,g1(i2)表示将该第二真实图像输入到该第二生成器的输出,表示该第一真实图像的损失期望值,表示该第二真实图像的损失期望值。

    19、可选地,在该基于该第一解码模型根据该第一内容特征和该第二域的风格特征生成第二图像之后,还可以是在该第一对抗损失小于第一预设值和该第一内容特征损失小于第二预设值的情况下基于第二解码模型生成第三图像。

    20、结合第一方面或其上述实现方式中,在第一方面的一种可能的实现方式中,该第一预训练模型包括依次连接的第一卷积层、批量归一化层、第一激活层和串联的至少一个特征提取模块,每个特征提取模块包括m个第二卷积层,m为大于或等于1的整数。其中,该m个第二卷积层中的第一个第二卷积层之前连接有一个批量归一化层,该m个第二卷积层中第m个第二卷积层之后连接有一个批量归一化层,该m个第二卷积层中第i个第二卷积层之后连接有一个批量归一化层和一个第二激活层,i取值从1到m-1。

    21、可选地,该至少一个特征提取模块中每个特征提取模块的输入通过跳跃连接作为该特征提取模块的输出的一部分。

    22、可选地,该第一卷积层的卷积核尺寸和该第二卷积层的卷积核尺寸可以相同或不同。可选地,该第一卷积层的卷积核尺寸为3×3;和/或该第二卷积层的卷积核尺寸为3×3。

    23、结合第一方面或其上述实现方式中,在第一方面的一种可能的实现方式中,该第一解码模型包括串联的至少一个向上采样块、第三卷积层和第三激活层,该至少一个向上采样块每个向上采样块包括依次连接的转置卷积层、第四归一化层和第四激活层。

    24、可选地,该第三卷积层的卷积核尺寸可以为7×7,该转置卷积层的卷积核尺寸可以为3×3,和/或该第四归一化层采用实例归一化。

    25、可选地,第一激活层、第二激活层、第三激活层和第四激活层所采用的激活函数可以为下列中的一种或任意组合:sigmoid激活函数、双曲正切tanh激活函数、线性修正单元relu激活函数和leaky relu激活函数。

    26、不同激活层采用的激活函数可以相同或不同;不同卷积层的卷积核尺寸可以相同或不同。

    27、可选地,该第一域的风格图像和该第二域的风格图像为下列任意两种组合:可见光图像、近红外图像、素描图像、热红外图像和3d图像。例如,该第一域的风格图像为近红外光图像和该第二域的风格图像为可见光图像。

    28、结合第一方面或其上述实现方式中,在第一方面的一种可能的实现方式中,当该合成网络损失函数满足预设条件时,将测试图像输入至已训练的图像合成网络生成该测试图像的异质图像;将该测试图像的异质图像输入至该图像识别的神经网络进行图像识别;以及将识别的结果与该测试图像的真实内容特征进行比对以评估该已训练的图像合成网络。

    29、结合第一方面或其上述实现方式中,在第一方面的一种可能的实现方式中,在将样本图像集中的第一样本图像输入当前迭代的图像合成网络的第一预训练模型之前,该方法还可以包括:对该第一样本图像进行预处理。

    30、可选地,对该第一样本图像进行归一化处理,对该第一样本图像进行对齐,和/或将该第一样本图像缩放至固定大小。

    31、第二方面,提供了一种图像识别方法,包括:将待识别图像输入采用上述第一方面中的任一种可能实现方式中的训练方法训练得到的图像合成网络获取该待识别图像的异质图像;以及对该待识别图像的异质图像进行图像识别。

    32、可选地,该图像识别方法应用于人脸图像识别,具体地,可以将待识别人脸图像输入至训练得到的人脸图像合成网络获取该待识别人脸图像的异质图像;以及对待识别人脸图像的异质图像进行人脸识别。

    33、第三方面,提供了图像合成网络的训练装置,该装置包括处理单元和存储单元,该存储单元用于存储该图像合成网络,该图像合成网络包括第一生成器和第一鉴别器,该第一生成器包括第一预训练模型和第一解码模型,该处理单元用于将样本图像集中的第一样本图像输入该存储单元存储的当前迭代的图像合成网络的第一预训练模型,基于该第一预训练模型提取该第一样本图像的第一内容特征,其中该第一样本图像属于第一域,基于该第一解码模型根据该第一内容特征和该第二域的风格特征生成第二图像,基于该第一鉴别器,根据合成网络损失函数鉴别该第二图像是否为该第一样本图像的异质图像,以及调整该当前迭代的图像合成网络的模型参数以进行下一次迭代训练直到该合成网络损失函数满足预设条件。

    34、其中,该第一预训练模型的初始迭代模型是基于图像识别的神经网络对开源图像集进行训练得到的,该开源图像集包括第一域的图像集和第二域的图像集,该第一域和该第二域不同;其中该合成网络损失函数包括第一对抗损失和第一内容特征损失,该第一对抗损失用于使得该第二图像的分布与该第一样本图像对应的第一真实图像的分布逼近,该第一内容特征损失用于保证生成的该第二图像与该第一样本图像的内容特征一致性。

    35、可选地,图像合成网络可以为人脸图像合成网络,样本图像集可以包括样本人脸图像集,该第一域的图像集可以包括第一域的人脸图像集,该第二域的图像集可以包括第二域的人脸图像集,该第一内容特征可以包括第一身份特征。该处理单元可以具体用于:将该样本人脸图像集的第一样本人脸图像输入当前迭代的人脸图像合成网络的第一预训练模型;基于该第一预训练模型提取该第一样本图像的身份特征;基于该第一解码模型根据该第一身份特征和该第二域的风格特征生成第二人脸图像;基于该第一鉴别器,根据合成网络损失函数鉴别该第二人脸图像是否为该第一样本人脸图像的异质图像,以及调整该当前迭代的人脸图像合成网络的模型参数以进行下一次迭代训练直到该合成网络损失函数满足预设条件。其中,该第一对抗损失可以用于使得该第二人脸图像的分布与该第一样本人脸图像对应的第一真实图像的分布逼近,该第一内容特征损失可以包括第一身份特征损失,用于保证生成的该第二人脸图像与该第一样本人脸图像的身份特征一致性。

    36、结合第三方面,在第三方面的一种可能的实现方式中,该存储单元存储的图像合成网络还包括第二生成器,该第二生成器包括第二预训练模型和第二解码模型,该处理单元还可以用于在根据合成网络损失函数鉴别该第二图像是否为该第一样本图像的异质图像之前将该第二图像输入当前迭代的图像合成网络的第二预训练模型,基于该第二预训练模型提取该第二图像的第二内容特征;和基于该第二解码模型根据该第二内容特征和该第一域的风格特征生成第三图像。

    37、其中,该第二预训练模型的初始迭代模型是基于该图像识别的神经网络对该开源图像集进行训练得到的;其中,该合成网络损失函数还包括该第一循环一致性损失,该第一循环一致性损失用于保证该第三图像与该第一样本图像的一致性。

    38、可选地,该存储单元存储的图像合成网络还可以包括第二鉴别器,该处理单元还用于将该样本集图像的第二样本图像输入该第二预训练模型提取第三内容特征,基于该第二解码模型根据该第三内容特征和该第一域的风格特征生成第四图像,该第二样本图像属于该第二域,将该第四图像输入该第一预训练模型提取第四内容特征,基于该第一解码模型根据该第四内容特征和该第二域的风格特征生成第五图像,以及基于该第二鉴别器,根据该合成网络损失函数鉴别该第五图像是否为该第二样本图像的异质图像。

    39、其中,该合成网络损失函数还包括第二对抗损失、第二内容特征损失和第二循环一致性损失,该第二对抗损失用于使得该第四图像的分布与该第二样本图像对应的第二真实图像的分布逼近,该第二内容特征损失用于保证生成的该第四图像与该第二样本图像的内容特征一致性,该第二循环一致性损失用于保证该第五图像与该第二样本图像的一致性。

    40、可选地,该第一对抗损失llsgan1由下式确定:

    41、

    42、该第二对抗损失llsgan2由下式确定:

    43、

    44、包括该第一循环一致性损失和该第二循环一致性损失的循环一致性损失lcyc由下式确定:

    45、

    46、包括该第一内容特征损失和该第二内容特征损失的内容特征损失lcos由下式确定:

    47、

    48、其中,i1表示该第一真实图像,i2表示该第二真实图像,g1表示将该第二域的该第二样本图像生成该第四图像的该第二生成器,g2表示将该第一域的该第一样本图像生成该第二图像转换的该第一生成器,d1表示该第二域的第二样本图像向该第一域的图像转换时用于鉴别的该第二鉴别器,d2表示该第一域的该第一样本图像向该第二域的图像转换时用于鉴别的该第一鉴别器,d1(i1)表示将该第一真实图像输入到该第二鉴别器的输出,d2(i2)表示将该第二真实图像输入到该第二鉴别器的输出,g2(i1)表示将该第一真实图像输入到该第一生成器的输出,g1(i2)表示将该第二真实图像输入到该第二生成器的输出,表示该第一真实图像的损失期望值,表示该第二真实图像的损失期望值。

    49、可选地,处理单元具体用于:在该第一对抗损失小于第一预设值和该第一内容特征损失小于第二预设值的情况下基于第二解码模型生成第三图像。

    50、结合第三方面或其上述实现方式中,在第三方面的一种可能的实现方式中,该存储单元存储的第一预训练模型包括依次连接的第一卷积层、批量归一化层、第一激活层和串联的至少一个特征提取模块,每个特征提取模块包括m个第二卷积层,m为大于或等于1的整数。其中,该m个第二卷积层中的第一个第二卷积层之前连接有一个批量归一化层,该m个第二卷积层中第m个第二卷积层之后连接有一个批量归一化层,该m个第二卷积层中第i个第二卷积层之后连接有一个批量归一化层和一个第二激活层,i取值从1到m-1。

    51、可选地,该至少一个特征提取模块中每个特征提取模块的输入通过跳跃连接作为该特征提取模块的输出的一部分。

    52、可选地,该第一卷积层的卷积核尺寸和该第二卷积层的卷积核尺寸可以相同或不同。可选地,该第一卷积层的卷积核尺寸为3×3;和/或该第二卷积层的卷积核尺寸为3×3。

    53、结合第三方面或其上述实现方式中,在第三方面的一种可能的实现方式中,该存储单元存储的第一解码模型包括串联的至少一个向上采样块、第三卷积层和第三激活层,该至少一个向上采样块每个向上采样块包括依次连接的转置卷积层、第四归一化层和第四激活层。

    54、可选地,该第三卷积层的卷积核尺寸可以为7×7,该转置卷积层的卷积核尺寸可以为3×3,和/或该第四归一化层采用实例归一化。

    55、可选地,第一激活层、第二激活层、第三激活层和第四激活层所采用的激活函数可以为下列中的一种或任意组合:sigmoid激活函数、双曲正切tanh激活函数、线性修正单元relu激活函数和leaky relu激活函数。

    56、不同激活层采用的激活函数可以相同或不同;不同卷积层的卷积核尺寸可以相同或不同。

    57、可选地,该第一域的风格图像和该第二域的风格图像为下列任意两种组合:可见光图像、近红外图像、素描图像、热红外图像和3d图像。例如,该第一域的风格图像为近红外光图像和该第二域的风格图像为可见光图像。

    58、结合第三方面或其上述实现方式中,在第三方面的一种可能的实现方式中,该处理单元还可以用于:当该合成网络损失函数满足预设条件时,将测试图像输入至已训练的图像合成网络生成该测试图像的异质图像;将该测试图像的异质图像输入至该图像识别的神经网络进行图像识别;以及将识别的结果与该测试图像的真实内容特征进行比对以评估该已训练的图像合成网络。

    59、结合第三方面或其上述实现方式中,在第三方面的一种可能的实现方式中,该处理单元还可以用于:在将样本图像集中的第一样本图像输入当前迭代的图像合成网络的第一预训练模型之前,该方法还可以包括:对该第一样本图像进行预处理。

    60、可选地,该处理单元可以具体用于:对该第一样本图像进行归一化处理,对该第一样本图像进行对齐,和/或将该第一样本图像缩放至固定大小。

    61、第四方面,提供了一种图像识别装置,该图像识别装置包括存储单元和处理单元,该处理单元用于将待识别图像输入采用上述第一方面中的任一种可能实现方式中的训练方法训练得到的图像合成网络获取该待识别图像的异质图像;以及对该待识别图像的异质图像进行图像识别。

    62、可选地,该图像识别可以应用于人脸图像识别,该处理单元可以具体用于:将待识别人脸图像输入至训练得到的人脸图像合成网络获取该待识别人脸图像的异质图像;以及对待识别人脸图像的异质图像进行人脸识别。

    63、第五方面,提供了一种图像合成网络的训练装置,该装置包括处理器和存储器,该处理器与该存储器耦合,该处理器用于读取并执行该存储器中的指令,以实现上述第一方面中的任一种可能实现方式中的方法。

    64、第六方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序代码,当该计算机程序代码被执行时,实现上述第一方面中的任一种可能实现方式中的方法。

    65、第七方面,提供了一种图像识别装置,该装置包括处理器和存储器,该处理器与该存储器耦合,该处理器用于读取并执行该存储器中的指令,以实现上述第二方面中的任一种可能实现方式中的方法。

    66、第八方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序代码,当该计算机程序代码被执行时,实现上述第二方面中的任一种可能实现方式中的方法。

    67、在本技术实施例中,通过基于图像识别的神经网络对开源图像集进行训练得到的模型作为图像合成网络训练过程中第一预训练模型的初始迭代模型,能够实现图像合成网络的加速训练收敛;并且,通过该第一预训练模型提取源图像的内容特征再基于解码模型所生成的跨域图像能够保留更多的特征信息,有效地约束内容特征的一致性,能够提高生成图像的质量,从而提高图像的识别精度。


    技术特征:

    1.一种图像合成网络的训练方法,其特征在于,所述图像合成网络包括第一生成器和第一鉴别器,所述第一生成器包括第一预训练模型和第一解码模型,包括:

    2.根据权利要求1所述的方法,其特征在于,所述图像合成网络还包括第二生成器,所述第二生成器包括第二预训练模型和第二解码模型;

    3.根据权利要求2所述的方法,其特征在于,所述图像合成网络还包括第二鉴别器,

    4.根据权利要求3所述的方法,其特征在于,其中

    5.根据权利要求2所述的方法,其特征在于,

    6.根据权利要求1-5任一项所述的方法,其特征在于,其中

    7.根据权利要求6所述的方法,其特征在于,其中所述m个第二卷积层中的第一个第二卷积层之前连接有一个批量归一化层,所述m个第二卷积层中第m个第二卷积层之后连接有一个批量归一化层,所述m个第二卷积层中第i个第二卷积层之后连接有一个批量归一化层和一个第二激活层,i取值从1到m-1;

    8.根据权利要求1-7任一项所述的方法,其特征在于,所述第一解码模型包括串联的至少一个向上采样块、第三卷积层和第三激活层,所述至少一个向上采样块每个向上采样块包括依次连接的转置卷积层、第四归一化层和第四激活层;

    9.根据权利要求1-8任一项所述的方法,其特征在于,其中所述第一域的风格图像和所述第二域的风格图像为下列任意两种组合:可见光图像、近红外图像、素描图像、热红外图像和3d图像;

    10.根据权利要求1-8任一项所述的方法,其特征在于,所述方法还包括:

    11.根据权利要求1-10任一项所述的方法,其特征在于,在所述将样本图像集中的第一样本图像输入当前迭代的图像合成网络的第一预训练模型之前,所述方法包括:

    12.根据权利要求1-11任一项所述的方法,其特征在于,其中,所述图像合成网络为人脸图像合成网络,所述样本图像集包括样本人脸图像集,所述第一域的图像集包括第一域的人脸图像集,所述第二域的图像集包括第二域的人脸图像集,所述第一内容特征包括第一身份特征,所述方法具体包括:

    13.一种图像识别方法,包括:

    14.根据权利要求13所述的方法,其特征在于,所述图像识别应用于人脸图像识别,

    15.一种图像合成网络的训练装置,其特征在于,所述训练装置包括:

    16.根据权利要求15所述的装置,其特征在于,所述存储单元存储的图像合成网络还包括第二生成器,所述第二生成器包括第二预训练模型和第二解码模型;

    17.根据权利要求16所述的装置,其特征在于,所述存储单元存储的图像合成网络还包括第二鉴别器,

    18.根据权利要求17所述的装置,其特征在于,其中

    19.根据权利要求16所述的装置,其特征在于,所述处理单元具体用于:在所述第一对抗损失小于第一预设值和所述第一内容特征损失小于第二预设值的情况下,基于所述第二解码模型根据所述第二内容特征和所述第一域的风格生成所述第三图像。

    20.根据权利要求16-19任一项所述的装置,其特征在于,其中

    21.根据权利要求20所述的装置,其特征在于,其中所述m个第二卷积层中的第一个第二卷积层之前连接有一个批量归一化层,所述m个第二卷积层中第m个第二卷积层之后连接有一个批量归一化层,所述m个第二卷积层中第i个第二卷积层之后连接有一个批量归一化层和一个第二激活层,i取值从1到m-1;

    22.根据权利要求15-21任一项所述的装置,其特征在于,所述存储单元存储的所述第一解码模型包括串联的至少一个向上采样块、第三卷积层和第三激活层,所述至少一个向上采样块每个向上采样块包括依次连接的转置卷积层、第四归一化层和第四激活层;

    23.根据权利要求15-22任一项所述的装置,其特征在于,其中所述第一域的风格图像和所述第二域的风格图像为下列任意两种组合:可见光图像、近红外图像、素描图像、热红外图像和3d图像;

    24.根据权利要求15-23任一项所述的装置,其特征在于,所述处理单元还用于:当所述合成网络损失函数满足预设条件时,将测试图像输入至已训练的图像合成网络生成所述测试图像的异质图像,将所述测试图像的异质图像输入至所述图像识别的神经网络进行图像识别;以及将识别的结果与所述测试图像的真实内容特征进行比对以评估所述已训练的图像合成网络。

    25.根据权利要求15-24任一项所述的装置,其特征在于,

    26.根据权利要求13-25任一项所述的装置,其特征在于,其中所述图像合成网络为人脸图像合成网络,所述样本图像集包括样本人脸图像集,所述第一域的图像集包括第一域的人脸图像集,所述第二域的图像集包括第二域的人脸图像集,所述第一内容特征包括第一身份特征;

    27.一种图像识别装置,包括存储单元和处理单元:

    28.根据权利要求27所述的装置,应用于人脸识别,其特征在于,

    29.一种图像合成网络的训练装置,其特征在于,包括:处理器和存储器,所述处理器与所述存储器耦合,所述处理器用于读取并执行所述存储器中的指令,以实现根据权利要求1-12任一项所述的方法。

    30.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被执行时,实现根据权利要求1-12任一项所述的方法。

    31.一种图像识别装置,其特征在于,包括:处理器和存储器,所述处理器与所述存储器耦合,所述处理器用于读取并执行所述存储器中的指令,以实现根据权利要求13或14所述的方法。

    32.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被执行时,实现根据权利要求13或14所述的方法。


    技术总结
    本申请公开了一种图像合成网络的训练方法、图像识别方法及相关装置,该训练方法包括:将属于第一域的第一样本图像输入当前迭代的图像合成网络的第一预训练模型以提取第一内容特征,其中该第一预训练模型的初始迭代模型是基于图像识别的神经网络对开源图像集进行训练得到的;基于第一解码模型根据第一内容特征和第二域的风格特征生成第二图像;基于第一鉴别器根据合成网络损失函数鉴别该第二图像是否为该第一样本图像的异质图像;以及调整当前迭代的图像合成网络的模型参数以进行下一次迭代训练直到该合成网络损失函数满足预设条件。因此,能够使生成的异质图像保留更多的特征信息,有效地约束内容特征的一致性,从而提高图像识别的精度。

    技术研发人员:何薇,刘金胜,苑京立
    受保护的技术使用者:嘉兴驭光光电科技有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-23201.html

    最新回复(0)