图像生成方法、装置、设备及存储介质与流程

    技术2026-09-09  6


    本申请实施例涉及人工智能,特别涉及一种图像生成方法、装置、设备及存储介质。


    背景技术:

    1、随着互联网的发展,图像处理技术也日益成熟,为了高效地生成和处理具有个性化特征的数字图像作品,大量人工智能技术应运而生。尤其是在人像生成场景中,用户希望利用图像生成技术自动生成具有特定内容风格、同时保持自己的人像特征的图像。

    2、在相关技术中,先基于用户上传的多张个人图片,训练lora(low-rankadaptation,低秩适配)模型,再通过训练后的lora模型生成同时具有特定内容风格和用户的人像特征的图像。然而,lora模型需要大约半个小时左右的训练等待时间,用户在上传个人图片之后,需要等待较长的时间,才可得到所需的图像,相关技术提供图像的效率不高。


    技术实现思路

    1、本申请实施例提供了一种图像生成方法、装置、设备及存储介质。所述技术方案如下:

    2、根据本申请实施例的一个方面,提供了一种图像生成方法,所述方法包括:

    3、获取脸部输入图像和脸部模板图像,所述脸部模板图像用于指示脸部风格;

    4、获取所述脸部模板图像的第一掩膜信息和第一关键点信息,所述第一掩膜信息用于指示所述脸部模板图像的脸部区域,所述第一关键点信息用于指示所述脸部模板图像的脸部关键点;

    5、获取所述脸部输入图像的脸部编码信息,所述脸部编码信息用于指示所述脸部输入图像的脸部特征;

    6、通过预训练后的扩散模型,基于所述第一掩膜信息、所述第一关键点信息和所述脸部编码信息,得到脸部重绘图像,所述脸部重绘图像具有所述脸部风格和所述脸部特征。

    7、根据本申请实施例的一个方面,提供了一种图像生成装置,所述装置包括:

    8、图像获取模块,用于获取脸部输入图像和脸部模板图像,所述脸部模板图像用于指示脸部风格;

    9、信息获取模块,用于获取所述脸部模板图像的第一掩膜信息和第一关键点信息,所述第一掩膜信息用于指示所述脸部模板图像的脸部区域,所述第一关键点信息用于指示所述脸部模板图像的脸部关键点;

    10、特征获取模块,用于获取所述脸部输入图像的脸部编码信息,所述脸部编码信息用于指示所述脸部输入图像的脸部特征;

    11、图像生成模块,用于通过预训练后的扩散模型,基于所述第一掩膜信息、所述第一关键点信息和所述脸部编码信息,得到脸部重绘图像,所述脸部重绘图像具有所述脸部风格和所述脸部特征。

    12、根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述图像生成方法。

    13、根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述图像生成方法。

    14、根据本申请实施例的一个方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机设备,所述处理器执行所述计算机设备,使得所述计算机设备执行上述图像生成方法。

    15、本申请实施例提供的技术方案可以带来如下有益效果:

    16、通过预训练后的扩散模型,基于脸部模板图像的第一掩膜信息和第一关键点信息,以及脸部输入图像的脸部编码信息,即可得到同时具有脸部模板图像的脸部风格,以及脸部输入图像的脸部特征的脸部重绘图像,实现了在强语义信息(即脸部编码信息)和空间条件(即第一关键点信息)的引导下,仅需基于第一掩膜信息单向传播进行推理,即可生成保持脸部输入图像的身份,以及脸部模板图像的风格的图像,消除了微调的需求,从而有利于降低生成图像所需的时间和资源消耗,进而有利于提高图像的提供效率。

    17、另外,用户只需上传一张脸部输入图像,即可快速获取保持脸部输入图像的身份,以及脸部模板图像的风格的图像,降低了上传限制。同时,仅需通过更换脸部模板图像,即可生成不同风格的图像,无需为每一个风格单作额外处理,提高了本申请实施例提供的技术方案的泛化性。



    技术特征:

    1.一种图像生成方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述脸部重绘图像经过n次重绘过程得到,n为正整数;

    3.根据权利要求2所述的方法,其特征在于,所述通过所述预训练后的扩散模型,以所述脸部编码信息和所述第一关键点信息为控制信息,基于所述第一掩膜信息,得到所述脸部重绘图像,包括:

    4.根据权利要求1所述的方法,其特征在于,所述通过预训练后的扩散模型,基于所述第一掩膜信息、所述第一关键点信息和所述脸部编码信息,得到脸部重绘图像之后,还包括:

    5.根据权利要求4所述的方法,其特征在于,所述通过所述预训练后的扩散模型,以所述脸部编码信息和所述脸部重绘图像的关键点信息为控制信息,基于所述脸部重绘图像的潜在空间编码,得到优化后的所述脸部重绘图像之后,还包括:

    6.根据权利要求1至5任一项所述的方法,其特征在于,所述获取脸部输入图像,包括:

    7.一种图像生成装置,其特征在于,所述装置包括:

    8.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的图像生成方法。

    9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至6任一项所述的图像生成方法。

    10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机程序,以实现如权利要求1至6任一项所述的图像生成方法。


    技术总结
    本申请公开了一种图像生成方法、装置、设备及存储介质,属于人工智能技术领域。所述方法包括:获取脸部输入图像和脸部模板图像;获取脸部模板图像的第一掩膜信息和第一关键点信息,第一掩膜信息用于指示脸部模板图像的脸部区域,第一关键点信息用于指示脸部模板图像的脸部关键点;获取脸部输入图像的脸部编码信息,脸部编码信息用于指示脸部输入图像的脸部特征;通过预训练后的扩散模型,基于第一掩膜信息、第一关键点信息和脸部编码信息,得到脸部重绘图像,脸部重绘图像具有脸部风格和脸部特征。本申请能够免微调,生成同时保留有脸部模板图像的脸部风格和脸部输入图像的脸部特征的脸部重绘图像,有利于降低生成图像所需的时间和资源消耗。

    技术研发人员:张凌云,肖定坤,蔡海军
    受保护的技术使用者:广州酷狗计算机科技有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-48089.html

    最新回复(0)