模型处理方法、装置、计算机设备及存储介质与流程

    技术2025-07-18  7


    本申请涉及计算机,尤其涉及一种模型处理方法、装置、计算机设备及存储介质。


    背景技术:

    1、随着计算机技术的不断深入发展,利用模型为生产和生活提供便利已成为当前的发展趋势,如可采用图像生成模型基于输入的文本信息进行图像的生成和输出,从而提升基于文本进行图像生成的效率。而当前,为了实现图像生成模型基于文本信息进行图像生成的能力,可采用图文对对该图像生成模型进行模型训练,从而将基于文本信息进行图像生成的能力拟合到图像生成模型中。而经过实践表明,采用当前进行模型训练的方式,使得相应模型基于相应文本信息生成的图像的图像质量较低,因此,如何对基于文本信息进行图像生成的模型进行有效训练,从而提升训练后的模型所生成图像的图像质量,成为了当前的研究热点。


    技术实现思路

    1、本发明实施例提供了一种模型处理方法、装置、计算机设备及存储介质,可提升训练得到的模型的图像生成能力。

    2、一方面,本发明实施例提供了一种模型处理方法,包括:

    3、获取目标模型的训练样本对,所述训练样本对包含样本图像及所述样本图像的描述文本;

    4、对所述样本图像进行加噪处理,得到所述样本图像的加噪特征,并获取所述目标模型在进行训练时需采用的降噪步数;其中,所述目标模型的训练过程包含至少一个训练阶段,且在不同训练阶段采用的降噪步数不同;

    5、按照所述降噪步数对所述加噪特征进行降噪处理,得到降噪特征,并基于所述降噪特征生成所述样本图像的预测图像;

    6、获取所述预测图像的生成效果参数,并根据所述生成效果参数、所述预测图像及所述描述文本生成反馈损失,并根据所述反馈损失对所述目标模型进行模型训练。

    7、再一方面,本发明实施例提供了一种模型处理装置,包括:

    8、获取单元,用于获取目标模型的训练样本对,所述训练样本对包含样本图像及所述样本图像的描述文本;

    9、处理单元,用于对所述样本图像进行加噪处理,得到所述样本图像的加噪特征,并获取所述目标模型在进行训练时需采用的降噪步数;其中,所述目标模型的训练过程包含至少一个训练阶段,且在不同训练阶段采用的降噪步数不同;

    10、所述处理单元,还用于按照所述降噪步数对所述加噪特征进行降噪处理,得到降噪特征,并基于所述降噪特征生成所述样本图像的预测图像;

    11、所述获取单元,还用于获取所述预测图像的生成效果参数;

    12、所述处理单元,还用于根据所述生成效果参数、所述预测图像及所述描述文本生成反馈损失,并根据所述反馈损失对所述目标模型进行模型训练。

    13、再一方面,本发明实施例提供了一种计算机设备,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储支持计算机设备执行上述方法的计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如第一方面所述的模型处理方法。

    14、再一方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如第一方面所述的模型处理方法。

    15、再一方面,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器调用时,使所述处理器执行如第一方面所述的模型处理方法。

    16、在本申请实施例中,计算机设备在对进行图像生成的目标模型进行模型训练时,可先获取在该目标模型的当前训练阶段进行模型训练的样本对,从而可通过调用该目标模型基于该样本对中的样本图像及该样本图像对应的描述文本进行扩散预测处理,得到该样本图像在描述文本的约束下所对应的预测图像。而该计算机设备在得到该预测图像后,则可基于在当前训练阶段进行模型训练时对应的评价指标,对该预测图像的生成效果进行评价,从而得到该目标模型所生成的预测图像的生成效果,而基于该对生成效果的确定,则可使得该计算机设备确定该目标模型当前对于图像生成能力的学习程度,因此,该计算机设备在得到该预测图像的生成效果后,则可将该生成效果所反映的目标模型的学习程度反馈回目标模型,并触发该目标模型可基于该生成效果的反馈对该目标模型的模型参数进行进一步的强化学习,以提升该目标模型的图像生成能力。而该计算机设备在将该生成效果反馈给目标模型并触发目标模型的强化训练时,该计算机设备可基于该预测图像的生成效果,调用该目标模型生成的预测图像,以及用于约束预测图像生成的描述文本,为该目标模型构建相应的反馈损失,那么,该计算机设备则可通过构建的反馈损失,对该目标模型的模型参数进行优化,从而实现基于该目标模型的图像生成能力反馈,实现对目标模型的阶段性强化训练,因此,该计算机设备通过采用不同样本对的获取,则可实现分不同训练阶段对该目标模型进行分别的反馈训练,而由于计算机设备在不同训练阶段对该目标模型进行反馈训练的侧重点有所不同,从而实现从多方面来加强该目标模型基于文本进行图像生成的能力,以提升该计算机设备对目标模型的训练效果,并有效提升训练得到的目标模型的图像生成能力。



    技术特征:

    1.一种模型处理方法,其特征在于,包括:

    2.如权利要求1所述的方法,其特征在于,所述对所述样本图像进行加噪处理,得到所述样本图像的加噪特征,包括:

    3.如权利要求1所述的方法,其特征在于,所述获取所述目标模型在进行训练时需采用的降噪步数,包括:

    4.如权利要求1或3所述的方法,其特征在于,所述当前训练阶段为以下任一个:图文一致性训练阶段,美观度训练阶段及偏好排序训练阶段;

    5.如权利要求1所述的方法,其特征在于,所述降噪步数用于指示进行降噪处理的次数;所述按照所述降噪步数对所述加噪特征进行降噪处理,得到降噪特征,包括:

    6.如权利要求1所述的方法,其特征在于,所述获取所述预测图像的生成效果参数,包括:

    7.如权利要求6所述的方法,其特征在于,所述获取所述当前评价指标对应的指标阈值,包括:

    8.如权利要求7所述的方法,其特征在于,所述训练样本对是所述样本数据集中的任一样本数据对;所述获取所述预测图像在所述当前评价指标下的指标值,包括:

    9.如权利要求6所述的方法,其特征在于,所述根据比对结果得到所述预测图像的生成效果参数,包括:

    10.如权利要求1所述的方法,其特征在于,当所述目标模型所处的当前训练阶段为图文一致性训练阶段时,所述图文一致性训练阶段对应的评价指标为图文一致性指标;所述根据所述生成效果参数、所述预测图像及所述描述文本生成反馈损失,包括:

    11.如权利要求10所述的方法,其特征在于,所述根据所述预测图像及所述描述文本,计算在所述图文一致性训练阶段的初始反馈损失,包括:

    12.如权利要求1所述的方法,其特征在于,当所述目标模型所处的当前训练阶段为美观度训练阶段时,所述美观度训练阶段对应的评价指标为美观度指标;所述根据所述生成效果参数、所述预测图像及所述描述文本生成反馈损失,包括:

    13.如权利要求1所述的方法,其特征在于,当所述目标模型所处的当前训练阶段为偏好排序训练阶段时,所述偏好排序训练阶段对应的评价指标为偏好排序指标;所述根据所述生成效果参数、所述预测图像及所述描述文本生成反馈损失,包括:

    14.如权利要求10、12及13中任一项所述的方法,其特征在于,所述获取所述目标模型进行图像生成时的生成损失,包括:

    15.如权利要求1所述的方法,其特征在于,所述对所述加噪特征进行降噪处理,包括:

    16.如权利要求1所述的方法,其特征在于,所述目标模型在任一训练阶段训练好后被作为下一训练阶段中待训练的目标模型,而目标模型在每个训练阶段均被训练好后,得到训练完成的目标模型;所述方法还包括:

    17.一种模型处理装置,其特征在于,所述装置包括:

    18.一种计算机设备,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、所述输入设备、所述输出设备和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1~16任一项所述的方法。

    19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1~16任一项所述的方法。

    20.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器调用时,使所述处理器执行如权利要求1~16任一项所述的方法。


    技术总结
    本发明实施例公开了一种模型处理方法、装置、计算机设备及存储介质,其中方法包括:获取目标模型的训练样本对,训练样本对包含样本图像及样本图像的描述文本;对样本图像进行加噪处理,得到样本图像的加噪特征,并获取目标模型在进行训练时需采用的降噪步数;其中,目标模型的训练过程包含至少一个训练阶段,且在不同训练阶段采用的降噪步数不同;按照降噪步数对加噪特征进行降噪处理,得到降噪特征,并基于降噪特征生成样本图像的预测图像;获取预测图像的生成效果参数,并根据生成效果参数、预测图像及描述文本生成反馈损失,并根据反馈损失对目标模型进行模型训练,可提升训练得到的模型的图像生成能力。

    技术研发人员:郭卉
    受保护的技术使用者:腾讯科技(深圳)有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-34033.html

    最新回复(0)