所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。基于相同的发明构思，本技术实施例还提供一种电子设备。在一种实施例中，该电子设备可以是服务器，也可以是终端设备。参阅图14所示，其为本技术实施例中提供的一种可能的电子设备的结构示意图，图14中，电子设备1400包括：处理器1410和存储器1420。其中，存储器1420存储有可被处理器1410执行的计算机程序，处理器1410通过执行存储器1420存储的指令，可以执行上述虚拟视点合成方法的步骤。存储器1420可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；存储器1420也可以是非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；或者存储器1420是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1420也可以是上述存储器的组合。处理器1410可以包括一个或多个中央处理单元(central processing unit，cpu)或者为数字处理单元等等。处理器1410，用于执行存储器1420中存储的计算机程序时实现上述虚拟视点合成方法。在一些实施例中，处理器1410和存储器1420可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。本技术实施例中不限定上述处理器1410和存储器1420之间的具体连接介质。本技术实施例中以处理器1410和存储器1420之间通过总线连接为例，总线在图14中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线可以分为地址总线、数据总线、控制总线等。为便于描述，图14中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。基于同一发明构思，本技术实施例提供了一种计算机可读存储介质，其包括计算机程序，当计算机程序在电子设备上运行时，计算机程序用于使电子设备执行上述虚拟视点合成方法的步骤。在一些可能的实施方式中，本技术提供的虚拟视点合成方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行上述虚拟视点合成方法中的步骤，例如，电子设备可以执行如图2中所示的步骤。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、ram、rom、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(compact disk read only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。本技术的实施方式的程序产品可以采用cd-rom并包括计算机程序，并可以在电子设备上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被命令执行系统、装置或者器件使用或者与其结合使用。可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的计算机程序。尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
背景技术：
1、随着计算机技术的不断发展，通常采用虚拟视点合成技术，利用已知的参考相机拍摄的图像，合成出虚拟相机拍摄的图像，从而呈现不同视角的图像。
2、相关技术中，参考相机采集的参考视点图像包括深度图像和彩色图像，基于参考视点下的深度图像，可以生成虚拟视点下的深度图像，再根据虚拟视点下的深度图像，采用基于深度图的图像绘制(depth image based rendering，dibr)技术，计算出虚拟视点图像中每个像素相对于参考视点图像的坐标信息，然后根据坐标信息，结合彩色图像进行纹理贴图，获得虚拟视点图像。
3、然而，当从参考视点切换到虚拟视点时，存在物体遮挡现象，因此，根据坐标信息，结合彩色图像进行纹理贴图时，遮挡部分缺少对应的彩色信息，导致虚拟视点图像中存在图像空洞，进而还需要进行额外的空洞填充才能得到完整图像，导致虚拟视点图像的生成效率较低。比如，在参考视点下物体a和物体b不存在遮挡，而在虚拟视点下物体a对物体b形成遮挡，遮挡部分形成图像空洞。
技术实现思路
1、本技术实施例提供一种虚拟视点合成方法及相关装置，用以生成清晰且无空洞的虚拟视点图像。
2、第一方面，本技术实施例提供一种虚拟视点合成方法，包括：
3、基于参考视点采集的各参考深度图像，结合所述参考视点与虚拟视点之间的相对位置关系，获得所述虚拟视点对应的虚拟深度图像；
4、基于所述虚拟深度图像，获得初始光流集，所述初始光流集包括：所述参考深度图像分别与所述虚拟深度图像之间的初始光流；
5、基于所述初始光流集，结合所述参考视点采集的各彩色图像，获得优化光流集和掩膜信息集，每个掩膜信息用于表征所述各彩色图像中的一个彩色图像的融合权重；
6、基于所述优化光流集和掩膜信息集，对所述各彩色图像进行融合，生成虚拟视点图像。
7、第二方面，本技术实施例提供一种虚拟视点合成装置，包括：
8、深度图生成单元，用于基于参考视点采集的各参考深度图像，结合所述参考视点与虚拟视点之间的相对位置关系，获得所述虚拟视点对应的虚拟深度图像；
9、光流生成单元，用于基于所述虚拟深度图像，获得初始光流集，所述初始光流集包括：所述参考深度图像分别与所述虚拟深度图像之间的初始光流；
10、光流优化单元，用于基于所述初始光流集，结合所述参考视点采集的各彩色图像，获得优化光流集和掩膜信息集，每个掩膜信息用于表征所述各彩色图像中的一个彩色图像的融合权重；
11、图像融合单元，用于基于所述优化光流集和掩膜信息集，对所述各彩色图像进行融合，生成虚拟视点图像。
12、作为一种可能的实现方式，所述基于所述虚拟深度图像，获得初始光流集时，光流生成单元具体用于：
13、基于所述虚拟深度图像中的各像素的像素值和位置，结合所述各参考深度图像中的各像素的像素值，获得所述各参考深度图像与所述虚拟深度图像之间的帧间变化信息；
14、基于获得的各帧间变化信息，获得从所述虚拟深度图至所述各参考深度图像的各前向光流，并将所述各前向光流，作为所述虚拟深度图像的初始光流集中的各初始光流。
15、作为一种可能的实现方式，基于所述虚拟深度图像中的各像素的像素值和位置，结合所述各参考深度图像中的各像素的像素值，获得所述各参考深度图像与所述虚拟深度图像之间的帧间变化信息时，光流生成单元具体用于：
16、基于所述参考视点和所述虚拟视点各自的相机参数，确定所述各参考深度图像与所述虚拟深度图像之间的像素相对位置关系；
17、基于所述虚拟深度图像中的各像素的像素值和位置，结合所述各参考深度图像中的各像素的像素值和所述像素相对位置关系，确定所述各参考深度图像与所述虚拟深度图像之间的帧间变化信息。
18、作为一种可能的实现方式，所述基于所述初始光流集，结合所述参考视点采集的各彩色图像，获得优化光流集和掩膜信息集时，光流优化单元具体用于：
19、将所述初始光流集和所述参考视点采集的各彩色图像，输入至目标光流优化模型中，获得优化光流集和掩膜信息；其中，所述目标光流优化模型是基于各组训练数据训练得到的，每组训练数据包含来自同一视频的参考帧集合和目标帧。
20、作为一种可能的实现方式，光流优化单元还用于通过以下方式生成各组训练数据：
21、针对获取的各样本视频中的每个样本视频，分别执行以下操作：
22、基于一个样本视频包含的视频内容，对所述一个样本视频进行场景划分，获得各场景下连续的若干视频帧，并基于所述各场景下连续的若干视频帧，获得所述各场景各自的视频帧集合；
23、分别从获得的各视频帧集合，抽取出相应的参考帧集合和目标帧，作为相应的一组训练数据。
24、作为一种可能的实现方式，所述分别从获得的各视频帧集合，抽取出相应的参考帧集合和目标帧，作为一组训练数据时，光流优化单元具体用于：
25、基于设定的视频帧数目，分别从获得的各视频帧集合，抽取出相应的候选帧集合；
26、分别从各候选帧集合中，抽选出除首帧和尾帧之外的一个候选帧，作为目标帧；
27、分别将各视频帧集合中，除抽选出的目标帧之外的候选帧作为参考帧，获得相应的参考帧集合。
28、作为一种可能的实现方式，光流优化单元还用于：
29、基于所述各组训练数据，对待训练的初始光流优化模型进行迭代训练，获得所述目标光流优化模型，其中，在每次迭代过程中，执行以下操作：
30、基于一组训练数据中的目标帧和参考帧集合，获得初始样本光流集，每个初始样本光流用于表征：目标帧与参考帧集合中的一个参考帧之间的初始光流；
31、将所述初始样本光流集和所述参考帧集合，输入至所述初始光流优化模型中，获得所述优化样本光流集和样本掩膜信息，并基于所述优化样本光流集和样本掩膜信息，结合所述参考帧集合，构建重构图像；
32、通过基于所述目标帧和所述重构图像确定的模型损失，进行调参。
33、作为一种可能的实现方式，所述基于所述优化光流集和掩膜信息集，对所述各彩色图像进行融合，生成虚拟视点图像时，图像融合单元具体用于：
34、基于所述优化光流集中的各优化流光，分别对所述各彩色图像进行采样，获得相应的采样图像；
35、基于所述掩膜信息集中的各掩膜信息，对获得的各采样图像进行融合，获得所述虚拟视点下的彩色图像；
36、基于所述虚拟深度图像和所述虚拟视点下的彩色图像，获得虚拟视点图像。
37、作为一种可能的实现方式，所述基于参考视点采集的各参考深度图像，结合所述参考视点与虚拟视点之间的相对位置关系，获得所述虚拟视点对应的虚拟深度图像时，深度图生成单元具体用于：
38、基于根据所述参考视点的相机参数确定的所述参考坐标系与世界坐标系之间的第一相对关系，对所述参考视点采集的各参考深度图像进行坐标系转换，获得所述世界坐标系中的点云数据；
39、基于根据所述虚拟视点对应的相机参数确定的所述虚拟坐标系与所述世界坐标系之间的第二相对关系，结合所述点云数据，获得所述虚拟深度图像。
40、第三方面，本技术实施例提供一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述虚拟视点合成方法的步骤。
41、第四方面，本技术实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述虚拟视点合成方法的步骤。
42、第五方面，本技术实施例提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质中读取并执行所述计算机程序，使得电子设备执行上述虚拟视点合成方法的步骤。
43、本技术实施例中，基于参考视点采集的各参考深度图像，获得虚拟视点对应的虚拟深度图像，并获得虚拟深度图像与各参考深度图像之间的初始光流集，然后，结合参考视点采集的各彩色图像，对初始光流集中的各初始光流进行光流优化，获得优化光流集和掩膜信息集，进而基于优化光流集和掩膜信息集，对各彩色图像进行融合，生成虚拟视点图像。
44、这样，将纹理坐标信息转换为时域中视频帧的光流信息，通过光流信息进行虚拟视点合成，可以获得更加准确的纹理坐标，从而提升虚拟视点图像的清晰度，进一步的，通过光流优化，可以消除初始光流中存在的图像空洞，从而合成无空洞的虚拟视点图像，此外，在优化光流的基础上，结合掩膜信息，对参考视点下的各彩色图像进行融合，合成更加清晰的虚拟视点图像，进而提升虚拟视点图像的图像呈现效果。
45、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
1.一种虚拟视点合成方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述基于所述虚拟深度图像，获得初始光流集，包括：
3.如权利要求2所述的方法，其特征在于，所述基于所述虚拟深度图像中的各像素的像素值和位置，结合所述各参考深度图像中的各像素的像素值，获得所述各参考深度图像与所述虚拟深度图像之间的帧间变化信息，包括：
4.如权利要求1、2或3所述的方法，其特征在于，所述基于所述初始光流集，结合所述参考视点采集的各彩色图像，获得优化光流集和掩膜信息集，包括：
5.如权利要求4所述的方法，其特征在于，所述各组训练数据是通过以下方式生成的：
6.如权利要求5所述的方法，其特征在于，所述分别从获得的各视频帧集合，抽取出相应的参考帧集合和目标帧，作为一组训练数据，包括：
7.如权利要求4所述的方法，其特征在于，所述目标光流优化模型是通过以下方式训练得到的：
8.如权利要求1、2或3所述的方法，其特征在于，所述基于所述优化光流集和掩膜信息集，对所述各彩色图像进行融合，生成虚拟视点图像，包括：
9.如权利要求1、2或3所述的方法，其特征在于，所述基于参考视点采集的各参考深度图像，结合所述参考视点与虚拟视点之间的相对位置关系，获得所述虚拟视点对应的虚拟深度图像，包括：
10.一种虚拟视点合成装置，其特征在于，包括：
11.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～9中任一所述方法的步骤。
12.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1～9中任一所述方法的步骤。
13.一种计算机程序产品，其特征在于，其包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得所述电子设备执行权利要求1～9中任一所述方法的步骤。
