本技术涉及数据处理,尤其涉及一种数据生成方法、装置、电子设备、计算机可读介质。
背景技术:
1、随着虚拟现实(virtual reality,vr)技术的普及,vr图像数据的应用场景(例如,直播场景等)越来越多。
2、目前,vr图像数据通常需要在预先布置好vr拍摄设备的房间内进行拍摄,但是因该房间的环境比较简单或者单一,导致vr图像数据所涉及的背景也比较简单或者单一,从而导致vr图像数据无法满足一些应用场景的背景需求,如此影响了vr图像数据的发展潜力。
技术实现思路
1、本技术提供了一种数据生成方法、装置、电子设备、计算机可读介质,能够克服因vr图像数据无法满足一些应用场景的背景需求而导致的不良影响。
2、为了实现上述目的,本技术提供的技术方案如下:
3、本技术提供一种数据生成方法,所述方法包括:
4、获取目标环境贴图和待处理数据;所述待处理数据包括至少一个图像数据;所述待处理数据用于描述目标对象在原始背景下所处状态;
5、利用所述目标环境贴图,生成所述待处理数据对应的目标背景表征数据;所述目标背景表征数据所描述的目标背景不同于所述原始背景;
6、依据所述目标环境贴图,对所述待处理数据中目标对象进行亮度调整处理,得到调整后数据;所述调整后数据中目标对象所处的亮度状态不同于所述待处理数据中目标对象所处的亮度状态;
7、根据所述目标背景表征数据与所述调整后数据,生成目标数据;所述目标数据用于描述所述目标对象在所述目标背景下所处状态;所述目标数据中目标对象所处的亮度状态与所述调整后数据中目标对象所处的亮度状态保持一致。
8、在一种可能的实施方式下,所述依据所述目标环境贴图,对所述待处理数据中目标对象进行亮度调整处理,得到调整后数据,包括:
9、将所述目标环境贴图中记录的光线信息转化为光照贴图;
10、对所述待处理数据进行法向估计处理,得到法向估计结果;
11、根据所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据。
12、在一种可能的实施方式下,所述根据所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据,包括:
13、依据所述法向估计结果,从所述光照贴图中确定第一光线亮度表征信息;
14、依据所述第一光线亮度表征信息,对所述待处理数据进行亮度调整处理,得到第一调整结果;
15、根据所述第一调整结果确定所述调整后数据。
16、在一种可能的实施方式下,所述根据所述第一调整结果确定所述调整后数据之前,所述方法还包括:
17、对所述待处理数据进行对象位置确定处理,得到对象位置表征数据;
18、所述根据所述第一调整结果确定所述调整后数据,包括:
19、根据所述对象位置表征数据和所述第一调整结果,确定所述调整后数据,以使所述调整后数据中记录有所述目标对象对应的调整后亮度。
20、在一种可能的实施方式下,所述调整后数据属于虚拟现实vr图像数据;所述待处理数据为利用原始vr图像数据转化所得的图像数据;
21、所述根据所述对象位置表征数据和所述第一调整结果,确定所述调整后数据,包括:
22、将所述第一调整结果转化为第一vr图像数据;
23、将所述对象位置表征数据转化为第二vr图像数据;
24、根据所述第一vr图像数据和所述第二vr图像数据,确定所述调整后数据。
25、在一种可能的实施方式下,所述根据所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据之前,所述方法还包括:
26、对所述待处理数据进行对象位置确定处理,得到对象位置表征数据;
27、所述根据所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据,包括:
28、根据所述对象位置表征数据、所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据。
29、在一种可能的实施方式下,所述根据所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据,包括:
30、按照所述对象位置表征数据,从所述待处理数据中提取对象表征数据;
31、按照所述对象位置表征数据,从所述法向估计结果中提取对象法向结果;
32、根据所述对象法向结果、所述对象表征数据以及所述光照贴图,确定所述调整后数据。
33、在一种可能的实施方式下,所述根据所述对象法向结果、所述对象表征数据以及所述光照贴图,确定所述调整后数据,包括:
34、依据所述对象法向结果,从所述光照贴图中确定第二光线亮度表征信息;
35、依据所述第二光线亮度表征信息,对所述对象表征数据进行亮度调整处理,得到第二调整结果;
36、根据所述第二调整结果确定所述调整后数据。
37、在一种可能的实施方式下,所述待处理数据、所述对象位置表征数据、以及所述法向估计结果均为图像序列;
38、所述方法还包括:
39、利用预设平滑算法,对所述对象位置表征数据中相邻帧进行平滑处理;
40、和/或,
41、利用预设平滑算法,对所述法向估计结果中相邻帧进行平滑处理。
42、在一种可能的实施方式下,所述待处理数据为利用原始vr图像数据转化所得的数据;
43、所述待处理数据的获取过程,包括:
44、对所述原始vr图像数据进行对象检测处理,得到对象检测结果;
45、按照所述对象检测结果,对所述原始vr图像数据进行对象区域截取处理,得到区域表征数据;
46、对所述区域表征数据进行投影去畸变处理,得到所述待处理数据。
47、在一种可能的实施方式下,所述目标背景表征数据、所述调整后数据、以及所述目标数据均属于vr图像数据;
48、所述根据所述目标背景表征数据与所述调整后数据,生成目标数据,包括:
49、将所述目标背景表征数据与所述调整后数据进行融合处理,得到所述目标数据。
50、在一种可能的实施方式下,所述待处理数据为利用原始vr图像数据转化所得的图像数据;
51、所述原始vr图像数据为单目全景图像数据、双目全景图像数据、单目半全景图像数据或者双目半全景图像数据。
52、在一种可能的实施方式下,所述目标环境贴图为高动态范围成像hdr环境贴图。
53、在一种可能的实施方式下,所述获取目标环境贴图和待处理数据,包括:
54、接收目标用户针对原始vr图像数据触发的背景更换请求;所述背景更换请求携带有所述目标环境贴图和所述原始vr图像数据;
55、对所述原始vr图像数据进行转化处理,得到所述待处理数据。
56、本技术提供了一种数据生成装置,包括:
57、信息获取单元,用于获取目标环境贴图和待处理数据;所述待处理数据包括至少一个图像数据;所述待处理数据用于描述目标对象在原始背景下所处状态;
58、背景生成单元,用于利用所述目标环境贴图,生成所述待处理数据对应的目标背景表征数据;所述目标背景表征数据所描述的目标背景不同于所述原始背景;
59、对象重打光单元,用于依据所述目标环境贴图,对所述待处理数据中目标对象进行亮度调整处理,得到调整后数据;所述调整后数据中目标对象所处的亮度状态不同于所述待处理数据中目标对象所处的亮度状态;
60、数据生成单元,用于根据所述目标背景表征数据与所述调整后数据,生成目标数据;所述目标数据用于描述所述目标对象在所述目标背景下所处状态;所述目标数据中目标对象所处的亮度状态与所述调整后数据中目标对象所处的亮度状态保持一致。
61、本技术提供了一种电子设备,所述设备包括:处理器和存储器;
62、所述存储器,用于存储指令或计算机程序;
63、所述处理器,用于执行所述存储器中的所述指令或计算机程序,以使得所述电子设备执行本技术提供的数据生成方法。
64、本技术提供了一种计算机可读介质,所述计算机可读介质中存储有指令或计算机程序,当所述指令或计算机程序在设备上运行时,使得所述设备执行本技术提供的数据生成方法。
65、本技术提供了一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行本技术提供的数据生成方法的程序代码。
66、与现有技术相比,本技术至少具有以下优点:
67、本技术提供的技术方案中,对于包括至少一个图像数据的待处理数据(例如,一个vr视频)来说,针对该待处理数据的背景更换过程具体为:在获取到目标环境贴图(例如,hdr环境贴图)之后,先利用该目标环境贴图,生成该待处理数据对应的目标背景表征数据,以使该目标背景表征数据所描述的目标背景符合该目标环境贴图中的景物呈现状态(例如,景物姿态、景物所处的亮度状态等),从而使得该目标背景表征数据所描述的目标背景不同于该待处理数据中所出现的原始背景,并依据该目标环境贴图,对该待处理数据中目标对象进行亮度调整处理,得到调整后数据,以使该调整后数据中目标对象所处的亮度状态符合该目标环境贴图中所记录的光线分布规律,从而使得该调整后数据中目标对象所处的亮度状态不同于该待处理数据中目标对象所处的亮度状态;再根据该目标背景表征数据与该调整后数据,生成目标数据,以使该目标数据中目标对象所处的亮度状态与该调整后数据中目标对象所处的亮度状态保持一致。其中,因该目标数据中目标对象所处的亮度状态以及该目标数据中背景所处的亮度状态均符合该目标环境贴图中所记录的光线分布规律,使得该目标数据中目标对象在不同位置的明暗效果符合该目标背景表征数据中呈现的光线状态,从而使得该目标数据中目标对象所处的亮度状态与该目标数据中背景所处的亮度状态之间比较协调(例如,亮度过渡比较自然),从而使得该目标数据能够更自然地描述出该目标对象在该目标背景下所处状态(例如,光线亮度状态),如此能够实现在确保对象与背景光线相协调的前提下进行背景更换的目的,以克服因vr图像数据无法满足一些应用场景的背景需求而导致的不良影响。
1.一种数据生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述依据所述目标环境贴图,对所述待处理数据中目标对象进行亮度调整处理,得到调整后数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一调整结果确定所述调整后数据之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述调整后数据属于虚拟现实vr图像数据;所述待处理数据为利用原始vr图像数据转化所得的图像数据;
6.根据权利要求2所述的方法,其特征在于,所述根据所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据之前,所述方法还包括:
7.根据权利要求6所述的方法,其特征在于,所述根据所述对象位置表征数据、所述法向估计结果、所述待处理数据以及所述光照贴图,确定所述调整后数据,包括:
8.根据权利要求7所述的方法,其特征在于,所述根据所述对象法向结果、所述对象表征数据以及所述光照贴图,确定所述调整后数据,包括:
9.根据权利要求4或者6所述的方法,其特征在于,所述待处理数据、所述对象位置表征数据、以及所述法向估计结果均为图像序列;
10.根据权利要求1所述的方法,其特征在于,所述待处理数据为利用原始vr图像数据转化所得的数据;
11.根据权利要求1所述的方法,其特征在于,所述目标背景表征数据、所述调整后数据、以及所述目标数据均属于vr图像数据;
12.根据权利要求1所述的方法,其特征在于,所述待处理数据为利用原始vr图像数据转化所得的图像数据;
13.根据权利要求1所述的方法,其特征在于,所述目标环境贴图为高动态范围成像hdr环境贴图。
14.根据权利要求1所述的方法,其特征在于,所述获取目标环境贴图和待处理数据,包括:
15.一种数据生成装置,其特征在于,包括:
16.一种电子设备,其特征在于,所述设备包括:处理器和存储器;
17.一种计算机可读介质,其特征在于,所述计算机可读介质中存储有指令或计算机程序,当所述指令或计算机程序在设备上运行时,使得所述设备执行权利要求1-14任一项所述的方法。
