本发明涉及图像处理,尤其涉及一种图像翻译方法、装置、设备、存储介质及计算机程序产品。
背景技术:
1、图像翻译是深度学习渗透计算机视觉领域后的重要研究方向。图像翻译问题可以简单的表述为将一个领域的图片保持原有的轮廓信息和空间位置信息,通过改变颜色和纹理等图片特征,使其转换为另一个领域的图像。很多计算机视觉的经典问题可以归纳到这一领域,如超分辨率重建问题、图像风格迁移问题、灰度图,红外图转换问题等。现阶段,图像翻译问题可以分为两类问题:一类是基于配对图像训练的有监督图像翻译问题,一类是基于非配对领域之间的无监督图像翻译问题。
2、但是,现有的图像翻译方式翻译模型适配性不高,精度不够,导致图像翻译效果差。
技术实现思路
1、本发明的主要目的在于提供一种图像翻译方法、装置、设备、存储介质及计算机程序产品,旨在解决现有的图像翻译方式翻译模型适配性不高,精度不够,导致图像翻译效果差的技术问题。
2、为实现上述目的,本发明提供一种图像翻译方法,所述图像翻译方法包括:
3、获取待翻译图像,并将所述待翻译图像输入图像翻译模型,所述图像翻译模型包括编码器层、图像处理模块以及解码器层;
4、通过所述编码器层对输入图像进行卷积和下采样处理,获得特征向量;
5、通过所述图像处理模块对所述特征向量进行处理,获得特征图;
6、通过所述解码器层对所述特征图进行反卷积和上采样处理,获得所述图像翻译模型输出的图像翻译结果。
7、可选地,所述编码器层包括resnet50网络、特征向量以及卷积层,所述通过所述编码器层对输入图像进行卷积和下采样处理,获得特征向量,包括:
8、从resnet50网络的预设模块开始,分别从多个不同的比例特征中使用不同尺度的空心卷积和全局池提取输入图像的图像特征金字塔;
9、将提取的图像特征金字塔展平并组合,获得组合特征;
10、对组合特征进行下采样,并在采样过程中将所述下采样中每层的特征图添加到相应的上采样层,获得特征向量。
11、可选地,所述图像处理模块包括ghost卷积模块,所述通过所述图像处理模块对所述特征向量进行处理,获得特征图,包括:
12、基于所述ghost卷积模块通过卷积操作从输入特征中提取一部分有效的输出特征,获取本征特征图;
13、通过线性运算对所述本征特征图进行处理,得到与本征特征图相似的输出特征图;
14、将本征特征图和输出特征图在通道维度上进行拼接,并将拼接后的结果依次传递给实例归一化层和非线性激活层,获得经所述ghost卷积模块处理后的特征图。
15、可选地,所述图像处理模块还包括反残差改进模块,所述将本征特征图和输出特征图在通道维度上进行拼接,并将拼接后的结果依次传递给实例归一化层和非线性激活层,获得经所述ghost卷积模块处理后的特征图之后,还包括:
16、基于所述反残差改进模块通过卷积将低维特征图扩展成高维特征图;
17、在高维空间中使用深度卷积提取特征;
18、通过卷积将提取出来的特征压缩成低维特征图,获得经所述反残差改进模块处理后的特征图。
19、可选地,所述图像翻译模型包括图像翻译模块,所述图像翻译模块包括第一生成器、第二生成器、第一判别器以及第二判别器,生成器包括所述编码器层、所述图像处理模块以及所述解码器层,所述获取待翻译图像,并将所述待翻译图像输入图像翻译模型之前,还包括:
20、通过所述第一生成器将样本图像从第一域转换到第二域,并通过所述第二生成器将样本图像从第二域转换到第一域;
21、通过所述第一判别器计算样本图像从第一域转换到第二域时的前向对抗损失,并通过所述第二判别器计算样本图像从第二域转换到第一域时的反向对抗损失,所述前向对抗损失和所述反向对抗损失用于表示转换后图像与真实图像之间的差距;
22、获取循环损失,所述循环损失用于表示所述样本图像与所述转换后图像的差距;
23、根据所述前向对抗损失、所述反向对抗损失以及所述循环损失对所述图像翻译模型进行训练。
24、可选地,所述图像翻译模型还包括图像翻译边缘处理模块;所述图像翻译方法,还包括:
25、通过门控卷积层将所述图像翻译模块对应的常规提取分支和所述图像翻译边缘处理模块对应的边缘优化分支连接起来;
26、使用所述常规特征提取分支中高阶的激活来控制所述边缘优化分支中低阶的激活,获得优化后图像翻译结果。
27、此外,为实现上述目的,本发明还提出一种图像翻译装置,所述图像翻译装置包括:
28、图像获取模块,用于获取待翻译图像,并将所述待翻译图像输入图像翻译模型,所述图像翻译模型包括编码器层、图像处理模块以及解码器层;
29、模型运行模块,用于通过所述编码器层对输入图像进行卷积和下采样处理,获得特征向量;
30、所述模型运行模块,还用于通过所述图像处理模块对所述特征向量进行处理,获得特征图;
31、所述模型运行模块,还用于通过所述解码器层对所述特征图进行反卷积和上采样处理,获得所述图像翻译模型输出的图像翻译结果。
32、此外,为实现上述目的,本发明还提出一种图像翻译设备,所述图像翻译设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像翻译程序,所述图像翻译程序配置为实现如上文所述的图像翻译方法。
33、此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有图像翻译程序,所述图像翻译程序被处理器执行时实现如上文所述的图像翻译方法。
34、此外,为实现上述目的,本发明还提供一种计算机程序产品,所述计算机程序产品包括图像翻译程序,所述图像翻译程序被处理器执行时实现如上文所述的图像翻译方法。
35、在本发明中,公开了获取待翻译图像,并将待翻译图像输入图像翻译模型,图像翻译模型包括编码器层、图像处理模块以及解码器层,通过编码器层对输入图像进行卷积和下采样处理,获得特征向量,通过图像处理模块对特征向量进行处理,获得特征图,通过解码器层对特征图进行反卷积和上采样处理,获得图像翻译模型输出的图像翻译结果;由于本发明中对图像翻译模型进行了改进,通过提出了新的网络结构,并通过改进后的图像翻译模型进行图像翻译,从而提高了翻译模型适配性和精度,进而提升了图像翻译效果。
1.一种图像翻译方法,其特征在于,所述图像翻译方法包括:
2.如权利要求1所述的图像翻译方法,其特征在于,所述编码器层包括resnet50网络、特征向量以及卷积层,所述通过所述编码器层对输入图像进行卷积和下采样处理,获得特征向量,包括:
3.如权利要求1所述的图像翻译方法,其特征在于,所述图像处理模块包括ghost卷积模块,所述通过所述图像处理模块对所述特征向量进行处理,获得特征图,包括:
4.如权利要求3所述的图像翻译方法,其特征在于,所述图像处理模块还包括反残差改进模块,所述将本征特征图和输出特征图在通道维度上进行拼接,并将拼接后的结果依次传递给实例归一化层和非线性激活层,获得经所述ghost卷积模块处理后的特征图之后,还包括:
5.如权利要求1至4中任一项所述的图像翻译方法,其特征在于,所述图像翻译模型包括图像翻译模块,所述图像翻译模块包括第一生成器、第二生成器、第一判别器以及第二判别器,生成器包括所述编码器层、所述图像处理模块以及所述解码器层,所述获取待翻译图像,并将所述待翻译图像输入图像翻译模型之前,还包括:
6.如权利要求5所述的图像翻译方法,其特征在于,所述图像翻译模型还包括图像翻译边缘处理模块;所述图像翻译方法,还包括:
7.一种图像翻译装置,其特征在于,所述图像翻译装置包括:
8.一种图像翻译设备,其特征在于,所述图像翻译设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像翻译程序,所述图像翻译程序被所述处理器执行时实现如权利要求1至6中任一项所述的图像翻译方法。
9.一种存储介质,其特征在于,所述存储介质上存储有图像翻译程序,所述图像翻译程序被处理器执行时实现如权利要求1至6中任一项所述的图像翻译方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括图像翻译程序,所述图像翻译程序被处理器执行时实现如权利要求1至6中任一项所述的图像翻译方法。
