本技术涉及图像风格迁移，尤其涉及一种全景图像三维化风格迁移方法及相关装置。
背景技术：
1、风格迁移（style transfer）是一种计算机视觉和图形学领域的技术，它允许将一幅图像的艺术风格转移到另一幅图像上，创造出具有新颖艺术效果的图像。这项技术的核心思想是通过神经网络学习图像的内容和风格，然后将这些学到的特征应用于其他图像。
2、针对图像的风格迁移大多数是面向二维图像，但是3d风格迁移能够在三维空间中保持风格的一致性，这意味着风格不仅仅应用于二维表面，还包括物体的内容和周围环境；这有助于产生更加真实和统一的效果。所以，相对比较于二维风格迁移，三维化风格迁移对于提升用户体验感具有十分重要的意义。
3、举例说明，虚拟现实（virtual reality，简称vr）是一种通过计算机技术模拟产生一种完全虚拟的三维环境，使用户能够在其中沉浸并与环境进行交互的技术。虚拟现实通常通过专用设备，如虚拟现实头显（vr头盔）和手柄，来提供身临其境的感觉。而全景图像是在水平和垂直方向上捕捉整个场景的图像，提供了一种沉浸感较强的观看体验；全景图像通常被用作虚拟现实体验的一部分。在vr中，这些全景图像或者全景视频可以被投射到vr头显上，使用户感觉好像置身于捕捉到的环境中，可以为用户提供更沉浸式的虚拟现实体验。若是可以对全景图像进行三维化风格迁移，就可以给用户提供更加真实和丰富的观看体验感。
4、但是现有全景图像的风格迁移技术无法识别其特有的空间扭曲特性，容易导致空间失真；而且视图识别所需要的图像较多，这样计算就会复杂化，风格化的速率也就很慢。综合这些问题，目前的全景图像风格化效果欠佳，既不能保证速度，也难以确保精度。
技术实现思路
1、本技术提供了一种全景图像三维化风格迁移方法及相关装置，用于解决现有技术难以识别全景图像的空间扭曲特性，视图识别受限使得计算过于复杂，导致风格化速率和精度难以保证的技术问题。
2、有鉴于此，本技术第一方面提供了一种全景图像三维化风格迁移方法，包括：
3、采用可形变卷积网络提取目标全景图像的空间扭曲特征，生成特征全景图像，所述可形变卷积网络基于偏移量调节卷积核实现动态采样；
4、通过图像预处理和ldi修复的方式依据所述特征全景图像合成3d纹理全景视频；
5、将分解全景图像与预置风格图像输入vgg-19编码器中进行特征编码，得到编码特征向量，所述分解全景图像从所述3d纹理全景视频中分解得到；
6、基于神经架构搜索方法对所述编码特征向量进行风格迁移的剪枝解码操作，得到目标风格迁移图像。
7、优选地，所述采用可形变卷积网络提取目标全景图像的空间扭曲特征，生成特征全景图像，之前还包括：
8、通过全局投影的方式将初始全景图像进行二维展开，并提取像素点坐标，得到二维全景图像；
9、采用球形卷积将所述二维全景图像进行卷积计算，得到目标全景图像。
10、优选地，所述通过图像预处理和ldi修复的方式依据所述特征全景图像合成3d纹理全景视频，包括：
11、根据所述特征全景图像进行ldi初始化操作后，采用双边中值滤波法分析图中前景与背景的边缘深度，得到相邻像素深度信息；
12、对所述相邻像素深度信息进行阈值对比分析，检测出前景与背景的边缘像素不连续性，并生成连接边缘像素集合；
13、通过切断ldi边缘相邻像素连接的方式，根据所述连接边缘像素集合检测出前景轮廓和背景轮廓，得到前景区域像素和背景区域像素；
14、采用上下文感知网络对所述前景区域像素进行颜色和深度感知，实现对所述背景区域像素的ldi修复，并生成3d纹理全景视频。
15、优选地，所述基于神经架构搜索方法对所述编码特征向量进行风格迁移的剪枝解码操作，得到目标风格迁移图像，包括：
16、基于神经架构搜索方法在vgg-19解码器中配置预设数量的控制运算符；
17、通过所述vgg-19解码器依据所述控制运算符对所述编码特征向量进行多尺度特征提取的方式实现风格迁移的剪枝解码，得到目标风格迁移图像。
18、本技术第二方面提供了一种全景图像三维化风格迁移装置，包括：
19、特征提取单元，用于采用可形变卷积网络提取目标全景图像的空间扭曲特征，生成特征全景图像，所述可形变卷积网络基于偏移量调节卷积核实现动态采样；
20、视频合成单元，用于通过图像预处理和ldi修复的方式依据所述特征全景图像合成3d纹理全景视频；
21、特征编码单元，用于将分解全景图像与预置风格图像输入vgg-19编码器中进行特征编码，得到编码特征向量，所述分解全景图像从所述3d纹理全景视频中分解得到；
22、迁移解码单元，用于基于神经架构搜索方法对所述编码特征向量进行风格迁移的剪枝解码操作，得到目标风格迁移图像。
23、优选地，还包括：
24、全景展开单元，用于通过全局投影的方式将初始全景图像进行二维展开，并提取像素点坐标，得到二维全景图像；
25、球形卷积单元，用于采用球形卷积将所述二维全景图像进行卷积计算，得到目标全景图像。
26、优选地，所述视频合成单元，具体用于：
27、根据所述特征全景图像进行ldi初始化操作后，采用双边中值滤波法分析图中前景与背景的边缘深度，得到相邻像素深度信息；
28、对所述相邻像素深度信息进行阈值对比分析，检测出前景与背景的边缘像素不连续性，并生成连接边缘像素集合；
29、通过切断ldi边缘相邻像素连接的方式，根据所述连接边缘像素集合检测出前景轮廓和背景轮廓，得到前景区域像素和背景区域像素；
30、采用上下文感知网络对所述前景区域像素进行颜色和深度感知，实现对所述背景区域像素的ldi修复，并生成3d纹理全景视频。
31、优选地，所述迁移解码单元，具体用于：
32、基于神经架构搜索方法在vgg-19解码器中配置预设数量的控制运算符；
33、通过所述vgg-19解码器依据所述控制运算符对所述编码特征向量进行多尺度特征提取的方式实现风格迁移的剪枝解码，得到目标风格迁移图像。
34、本技术第三方面提供了一种全景图像三维化风格迁移设备，所述设备包括处理器以及存储器；
35、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
36、所述处理器用于根据所述程序代码中的指令执行第一方面所述的全景图像三维化风格迁移方法。
37、本技术第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的全景图像三维化风格迁移方法。
38、从以上技术方案可以看出，本技术实施例具有以下优点：
39、本技术中，提供了一种全景图像三维化风格迁移方法，包括：采用可形变卷积网络提取目标全景图像的空间扭曲特征，生成特征全景图像，可形变卷积网络基于偏移量调节卷积核实现动态采样；通过图像预处理和ldi修复的方式依据特征全景图像合成3d纹理全景视频；将分解全景图像与预置风格图像输入vgg-19编码器中进行特征编码，得到编码特征向量，分解全景图像从3d纹理全景视频中分解得到；基于神经架构搜索方法对编码特征向量进行风格迁移的剪枝解码操作，得到目标风格迁移图像。
40、本技术提供的全景图像三维化风格迁移方法，采用可形变卷积网络对目标全景图像进行动态采样，获取其较难识别的空间扭曲特征，能够更加精准的提取图中的边界特征或者深浅信息，确保后续风格迁移的可靠性；而且，这样的动态采样的特征提取方式能够在保证识别准确性的同时降低对图像数量的需求，进而间接的降低计算复杂度；此外，通过剪枝解码的方式实现风格迁移，能够明确快速的选取出最优的风格迁移图像，可以提高风格迁移的效率。因此，本技术能解决现有技术难以识别全景图像的空间扭曲特性，视图识别受限使得计算过于复杂，导致风格化速率和精度难以保证的技术问题。
1.一种全景图像三维化风格迁移方法，其特征在于，包括：
2.根据权利要求1所述的全景图像三维化风格迁移方法，其特征在于，所述采用可形变卷积网络提取目标全景图像的空间扭曲特征，生成特征全景图像，之前还包括：
3.根据权利要求1所述的全景图像三维化风格迁移方法，其特征在于，所述通过图像预处理和ldi修复的方式依据所述特征全景图像合成3d纹理全景视频，包括：
4.根据权利要求1所述的全景图像三维化风格迁移方法，其特征在于，所述基于神经架构搜索方法对所述编码特征向量进行风格迁移的剪枝解码操作，得到目标风格迁移图像，包括：
5.一种全景图像三维化风格迁移装置，其特征在于，包括：
6.根据权利要求5所述的全景图像三维化风格迁移装置，其特征在于，还包括：
7.根据权利要求5所述的全景图像三维化风格迁移装置，其特征在于，所述视频合成单元，具体用于：
8.根据权利要求5所述的全景图像三维化风格迁移装置，其特征在于，所述迁移解码单元，具体用于：
9.一种全景图像三维化风格迁移设备，其特征在于，所述设备包括处理器以及存储器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的全景图像三维化风格迁移方法。
