本发明属于智能美术设计,具体是指一种基于机器学习的美术风格迁移方法及系统。
背景技术:
1、美术风格迁移在设计、娱乐和媒体相关产业具有广泛的应用前景,它旨在通过机器学习技术将内容图像渲染成特定美术风格的图像,提高了自动化艺术创作的效率,降低了人工成本,有助于推动相关产业发展,促进艺术创作变革和技术进步。但在现有美术风格迁移过程中,存在难以充分捕捉风格图像的复杂细节和层次,导致风格迁移生成的图像产生不自然的边缘和纹理的技术问题;存在内容和风格融合不充分,导致风格迁移生成的图像要么偏重内容,要么偏重风格,影响生成图像质量的技术问题;存在模型训练不稳定,容易出现模式崩塌问题的技术问题。
技术实现思路
1、针对上述情况,为克服现有技术的缺陷,本发明提供了一种基于机器学习的美术风格迁移方法及系统,针对在现有美术风格迁移过程中,存在难以充分捕捉风格图像的复杂细节和层次,导致风格迁移生成的图像产生不自然的边缘和纹理的技术问题,本方案创造性地通过感知编码器进行风格特征提取,更好地捕捉风格图像中的细节,使得风格迁移生成的图像更细腻和自然,提高了生成图像的质量,且加快了训练速度,提高了模型实用性;针对在现有美术风格迁移过程中,存在内容和风格融合不充分,导致风格迁移生成的图像要么偏重内容,要么偏重风格,影响生成图像质量的技术问题,本方案创造性地采用交叉融合注意力模块进行特征融合,更好地融合内容特征和风格特征,提高了特征融合的能力和精细程度,从而生成高质量的风格迁移图像,且能更灵活地适应不同风格变化,提高了模型的可靠性和实用性;针对在现有美术风格迁移过程中,存在模型训练不稳定,容易出现模式崩塌问题的技术问题,本方案创造性地采用联合损失函数进行模型训练,有效缓解模型训练不稳定的问题,减少模式崩塌的风险,提高了模型的可靠性。
2、本发明采取的技术方案如下:本发明提供的一种基于机器学习的美术风格迁移方法,该方法包括以下步骤:
3、步骤s1:图像准备;
4、步骤s2:基础模型构建;
5、步骤s3:损失函数构建;
6、步骤s4:美术风格迁移模型构建;
7、步骤s5:美术风格迁移。
8、进一步地,在步骤s1中,图像准备,用于准备美术风格迁移所需的图像数据,包括以下步骤:
9、步骤s11:内容图像数据收集,具体为通过收集内容图像,得到内容图像数据,所述内容图像具体指需要改变美术风格的图像;
10、步骤s12:风格图像数据收集,具体为通过收集目标风格的图像,得到风格图像数据,所述目标风格具体指用户需要的美术风格;
11、步骤s13:图像预处理,具体为将内容图像数据和风格图像数据中的所有图像调整为统一尺寸,并进行图像归一化,得到内容优化图像数据和风格优化图像数据。
12、进一步地,在步骤s2中,所述基础模型构建,用于构建美术风格迁移所需的基础模型,具体为在传统的生成对抗网络模型中,设计感知编码器来进行风格特征提取,并加入交叉融合注意力模块,构建结构改进的生成对抗网络模型;
13、所述结构改进的生成对抗网络模型,具体包括优化生成器和判别器;
14、所述优化生成器,用于生成风格化图像,包括感知编码器、内容编码器、交叉融合注意力模块和解码器;
15、所述感知编码器,用于提取图像的风格特征;
16、所述内容编码器,用于提取图像的内容特征;
17、所述交叉融合注意力模块,用于融合风格特征和内容特征,并提升生成图像的质量;
18、所述解码器,用于将融合后的特征解码,并生成最终的风格迁移图像;
19、所述判别器,用于判断图像的真伪;
20、所述基础模型构建,包括以下步骤:
21、步骤s21:构建生成对抗网络模型的架构,所述生成对抗网络模型包括生成器和判别器;
22、步骤s22:改进生成对抗网络模型,具体为通过对生成对抗网络模型中的生成器进行优化,得到结构改进的生成对抗网络模型;
23、步骤s23:构建优化生成器,包括以下步骤:
24、步骤s231:构建感知编码器,具体为接收风格优化图像数据作为输入图像,通过感知编码器,计算得到风格特征,包括以下步骤:
25、步骤s2311:构建嵌入层,具体为通过嵌入层对输入图像进行嵌入操作,得到嵌入特征图,计算公式为:
26、;
27、式中,igemb是嵌入特征图,embedding(·)是嵌入操作,ig是输入图像;
28、步骤s2312:构建归一化层,通过归一化层对嵌入特征图进行归一化操作,得到归一特征图,计算公式为:
29、;
30、式中,ignor是归一特征图,norm(·)是归一化操作;
31、步骤s2313:构建感知块,具体为在感知块中设置高频第一处理层、高频第二处理层、低频处理层和特征拼接层,将归一特征图沿通道维度划分为高频信息和低频信息,并将高频信息分割为高频第一信息和高频第二信息,通过感知块计算得到感知风格特征;
32、所述通过感知块计算得到风格特征的计算公式为:
33、;
34、式中,fh1是高频第一特征,具体指高频第一处理层的输出,fcl(·)是全连接层操作,maxpool(·)是最大池化操作,feah1是高频第一信息,fh2是高频第二特征,具体指高频第二处理层的输出,dwconv(·)是深度可分离卷积操作,feah2是高频第二信息,flow是低频特征,具体指低频处理层的输出,upsample(·)是上采样操作,msa(·)是多头自注意力层操作,avgpooling(·)是平均池化操作,fealow是低频信息,fstyle是感知风格特征,具体指特征拼接层的输出,concat(·)是特征拼接操作;
35、步骤s2314:构建前馈网络层,通过前馈网络层从感知风格特征中提取细节特征,得到细致风格特征;
36、步骤s2315:构建感知编码器子层,具体为通过构建嵌入层、构建归一化层、构建感知块和构建前馈网络层,得到感知编码器子层;
37、步骤s2316:堆叠k个感知编码器子层,得到感知编码器,通过感知编码器,从风格优化图像数据中提取风格特征;
38、步骤s232:构建内容编码器,具体为接收内容优化图像数据,使用预训练的vgg-19卷积网络作为内容编码器,通过内容编码器,计算得到内容特征;
39、步骤s233:构建交叉融合注意力模块,具体为在交叉融合注意力模块中设置风格特征处理层、内容特征处理层和特征融合层,通过交叉融合注意力模块将风格特征和内容特征融合,得到融合图像特征;
40、所述风格特征处理层,包括全局平均池化层和卷积层;
41、所述内容特征处理层,包括全局平均池化层、特征初步融合层、特征重绘层和并行池化层,所述并行池化层,包括并行的最大池化层和平均池化层;
42、所述构建交叉融合注意力模块,包括以下步骤:
43、步骤s2331:构建风格特征处理层,计算得到风格处理特征,计算公式为:
44、;
45、式中,feas是风格处理特征,sig(·)是s型激活函数,conv(·)是卷积操作,gap(·)是全局平均池化操作,feastyle是风格特征;
46、步骤s2332:构建内容特征处理层,计算得到内容处理特征,计算公式为:
47、;
48、式中,feac是池化内容特征,具体指全局平均池化层的输出,feacontent是内容特征,feafused是初步融合特征,具体指特征初步融合层的输出,fearedraw是重绘融合特征,具体指特征重绘层的输出,relu(·)是relu激活函数,bn(·)是批量归一化操作,feapool是内容处理特征,具体指并行池化层的输出,maxpooling(·)是最大池化操作;
49、步骤s2333:构建特征融合层,通过将风格处理特征和内容处理特征相乘,并进行卷积操作,得到融合图像特征,计算公式为:
50、;
51、式中,feafinal是融合图像特征;
52、步骤s234:构建解码器,具体为通过解码器将融合图像特征转换为图像,得到风格迁移图像;
53、步骤s24:构建判别器,具体为通过判别器,判别风格迁移图像是真实图像的概率;
54、步骤s25:构建结构改进的生成对抗网络模型,具体为通过所述构建优化生成器和所述构建判别器,进行结构改进的生成对抗网络模型构建。
55、进一步地,在步骤s3中,所述损失函数构建,用于构建模型训练所需的损失函数,通过构建内容损失函数、风格损失函数和对抗损失函数,进行联合损失函数构建,得到联合损失函数,包括以下步骤:
56、步骤s31:构建内容损失函数,用于衡量生成的风格迁移图像与内容图像的内容相似程度,计算公式为:
57、;
58、式中,lcontent是内容损失函数,||·||2是l2范式运算符,φ(·)是预训练的vgg-19卷积网络的特征提取函数,genimage是风格迁移图像,conimage是内容图像;
59、步骤s32:构建风格损失函数,用于衡量生成的风格迁移图像与风格图像的风格相似程度,计算公式为:
60、;
61、式中,lstyle是风格损失函数,lay是预训练的vgg-19卷积网络的层索引,m是预训练的vgg-19卷积网络的层数,glay是vgg-19卷积网络中第lay层的格拉姆矩阵;
62、步骤s33:构建对抗损失函数,用于衡量生成的风格迁移图像的真实程度,计算公式为:
63、;
64、式中,ladv是对抗损失函数,econt是对内容图像数据的分布期望,d(·)是判别器函数,用于判别输入图像是真实图像的概率,egen是对风格迁移图像的分布期望;
65、步骤s34:构建联合损失函数,计算公式为:
66、;
67、式中,ltotal是联合损失函数,w1是内容损失函数权重,w2是风格损失函数权重,w3是对抗损失函数权重。
68、进一步地,在步骤s4中,所述美术风格迁移模型构建,用于训练结构改进的生成对抗网络模型并构建美术风格迁移模型,具体为使用反向传播算法,最小化联合损失函数,对训练结构改进的生成对抗网络模型进行模型训练,得到美术风格迁移模型。
69、进一步地,在步骤s5中,所述美术风格迁移,用于实现美术风格迁移,具体为使用美术风格迁移模型,将输入的新图像转换为具有目标风格的图像,得到美术风格迁移图像。
70、本发明提供的一种基于机器学习的美术风格迁移系统,包括:图像准备模块、基础模型构建模块、损失函数构建模块、美术风格迁移模型构建模块和美术风格迁移模块;
71、所述图像准备模块,用于图像准备,通过图像准备,得到内容优化图像数据和风格优化图像数据,并将所述内容优化图像数据和所述风格优化图像数据发送至基础模型构建模块和美术风格迁移模型构建模块;
72、所述基础模型构建模块,用于基础模型构建,通过基础模型构建,得到结构改进的生成对抗网络模型,并将所述结构改进的生成对抗网络模型发送至损失函数构建模块和美术风格迁移模型构建模块;
73、所述损失函数构建模块,用于损失函数构建,通过损失函数构建,得到联合损失函数,并将所述联合损失函数发送至美术风格迁移模型构建模块;
74、所述美术风格迁移模型构建模块,用于美术风格迁移模型构建,通过美术风格迁移模型构建,得到美术风格迁移模型,并将所述美术风格迁移模型发送至美术风格迁移模块;
75、所述美术风格迁移模块,用于美术风格迁移,使用美术风格迁移模型,将输入的新图像转换为具有目标风格的图像,得到美术风格迁移图像。
76、采用上述方案本发明取得的有益效果如下:
77、(1)针对在现有美术风格迁移过程中,存在难以充分捕捉风格图像的复杂细节和层次,导致风格迁移生成的图像产生不自然的边缘和纹理的技术问题,本方案创造性地通过感知编码器进行风格特征提取,更好地捕捉风格图像中的细节,使得风格迁移生成的图像更细腻和自然,提高了生成图像的质量,且加快了训练速度,提高了模型实用性;
78、(2)针对在现有美术风格迁移过程中,存在内容和风格融合不充分,导致风格迁移生成的图像要么偏重内容,要么偏重风格,影响生成图像质量的技术问题,本方案创造性地采用交叉融合注意力模块进行特征融合,更好地融合内容特征和风格特征,提高了特征融合的能力和精细程度,从而生成高质量的风格迁移图像,且能更灵活地适应不同风格变化,提高了模型的可靠性和实用性;
79、(3)针对在现有美术风格迁移过程中,存在模型训练不稳定,容易出现模式崩塌问题的技术问题,本方案创造性地采用联合损失函数进行模型训练,有效缓解模型训练不稳定的问题,减少模式崩塌的风险,提高了模型的可靠性。
1.一种基于机器学习的美术风格迁移方法,其特征在于:该方法包括以下步骤:
2.根据权利要求1所述的一种基于机器学习的美术风格迁移方法,其特征在于:在步骤s2中,所述基础模型构建,包括以下步骤:
3.根据权利要求2所述的一种基于机器学习的美术风格迁移方法,其特征在于:步骤s231:构建感知编码器,具体为接收风格优化图像数据作为输入图像,通过感知编码器,计算得到风格特征,包括以下步骤:
4.根据权利要求3所述的一种基于机器学习的美术风格迁移方法,其特征在于:在步骤s233中,所述构建交叉融合注意力模块,包括以下步骤:
5.根据权利要求4所述的一种基于机器学习的美术风格迁移方法,其特征在于:在步骤s3中,所述损失函数构建,包括以下步骤:
6.根据权利要求5所述的一种基于机器学习的美术风格迁移方法,其特征在于:在步骤s4中,所述美术风格迁移模型构建,用于训练结构改进的生成对抗网络模型并构建美术风格迁移模型,具体为使用反向传播算法,最小化联合损失函数,对训练结构改进的生成对抗网络模型进行模型训练,得到美术风格迁移模型。
7.根据权利要求6所述的一种基于机器学习的美术风格迁移方法,其特征在于:在步骤s5中,所述美术风格迁移,用于实现美术风格迁移,具体为使用美术风格迁移模型,将输入的新图像转换为具有目标风格的图像,得到美术风格迁移图像;
8.一种基于机器学习的美术风格迁移系统,用于实现如权利要求1-7中任一项所述的一种基于机器学习的美术风格迁移方法,其特征在于:包括图像准备模块、基础模型构建模块、损失函数构建模块、美术风格迁移模型构建模块和美术风格迁移模块。
9.根据权利要求8所述的一种基于机器学习的美术风格迁移系统,其特征在于:所述图像准备模块,用于图像准备,通过图像准备,得到内容优化图像数据和风格优化图像数据,并将所述内容优化图像数据和所述风格优化图像数据发送至基础模型构建模块和美术风格迁移模型构建模块;
