本技术属于图像处理,尤其涉及一种深度图像的置信度信息生成方法、装置、计算机可读存储介质及终端设备。
背景技术:
1、在许多工程应用中,如训练单目深度估计模型,通常需要使用深度数据集。获取深度数据集最直接的方法为使用深度相机进行深度图像采集,但由于深度相机价格昂贵,导致此方法成本过高,因此,现有技术中通常会使用光流模型对三维图像对进行处理,得到深度图像,并利用深度图像进行后续的模型训练等应用。
2、然而,在使用光流模型生成深度图像时,由于光流模型对于存在于左眼图像但在右眼图像中被遮挡的像素的光流估计均来自推测,缺乏依据,导致生成的深度图像不够准确;而在后续对深度图像的应用中,通常会直接使用光流模型生成的准确性可能较低的深度图像,导致深度图像的后续应用效果不佳。因此,亟待一种能够生成深度图像的置信度信息的方法。
技术实现思路
1、有鉴于此,本技术实施例提供了一种深度图像的置信度信息生成方法、装置、计算机可读存储介质及终端设备,以解决现有技术中对深度图像的应用效果不佳的问题。
2、本技术实施例的第一方面提供了一种深度图像的置信度信息生成方法,可以包括:
3、获取目标三维图像对;其中,所述目标三维图像对包括同一时刻的左眼图像和右眼图像;
4、基于已训练的光流模型对所述左眼图像至所述右眼图像进行光流估计,得到第一深度图像;
5、基于所述光流模型对所述右眼图像至所述左眼图像进行光流估计,得到第二深度图像;
6、对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息;其中,所述第一置信度信息用于表征所述第一深度图像和所述第二深度图像之间的差异程度。
7、在第一方面的一种具体实现方式中,所述对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息,包括:
8、基于所述第一深度图像对所述左眼图像进行光流变换,得到变换右眼图像;
9、基于所述第二深度图像对所述变换右眼图像进行光流变换,得到变换左眼图像;
10、对所述左眼图像和所述变换左眼图像进行一致性校验,得到所述第一置信度信息。
11、在第一方面的一种具体实现方式中,在所述对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息之前,还包括:
12、分别对所述第一深度图像和所述第二深度图像进行水平分量筛选,得到筛选后的所述第一深度图像和所述第二深度图像;
13、所述对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息,为:对筛选后的所述第一深度图像和筛选后的所述第二深度图像进行一致性校验,得到第一置信度信息。
14、在第一方面的一种具体实现方式中,在所述对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息之后,还包括:
15、基于已训练的双目视差模型对所述目标三维图像对进行双目视差处理,得到第三深度图像;
16、对所述第一深度图像和所述第三深度图像进行置信度校验,得到第二置信度信息;其中,所述第二置信度信息用于表征所述第一深度图像和所述第三深度图像之间的差异程度;
17、基于所述第一置信度信息和所述第二置信度信息,确定第三置信度信息。
18、在第一方面的一种具体实现方式中,所述对所述第一深度图像和所述第三深度图像进行置信度校验,得到第二置信度信息,包括:
19、将所述第一深度图像和所述第三深度图像作差,得到所述第一深度图像和所述第三深度图像之间的差异程度;
20、基于所述第一深度图像和所述第三深度图像之间的差异程度,确定所述第二置信度信息。
21、在第一方面的一种具体实现方式中,所述基于所述第一置信度信息和所述第二置信度信息,确定第三置信度信息,包括:
22、基于所述第一置信度信息和所述第二置信度信息中的置信度最小值,确定所述第三置信度信息;
23、或者,
24、基于所述第一置信度信息和所述第二置信度信息中的置信度最大值,确定所述第三置信度信息;
25、或者,
26、基于所述第一置信度信息、所述第二置信度信息和预设的置信度权重,确定所述第三置信度信息。
27、在第一方面的一种具体实现方式中,在所述基于已训练的光流模型对所述左眼图像至所述右眼图像进行光流估计,得到第一深度图像之后,还包括:
28、统计所述第一深度图像中的无效像素的数目;其中,所述无效像素为位移范围大于预设的有效位移范围的像素;
29、若所述无效像素的数目小于等于预设的无效像素数目阈值,则执行所述基于所述光流模型对所述右眼图像至所述左眼图像进行光流估计,得到第二深度图像的步骤及其后续步骤。
30、本技术实施例的第二方面提供了一种深度图像的置信度信息生成装置,可以包括:
31、三维图像对获取模块,用于获取目标三维图像对;其中,所述目标三维图像对包括同一时刻的左眼图像和右眼图像;
32、第一光流估计模块,用于基于已训练的光流模型对所述左眼图像至所述右眼图像进行光流估计,得到第一深度图像;
33、第二光流估计模块,用于基于所述光流模型对所述右眼图像至所述左眼图像进行光流估计,得到第二深度图像;
34、一致性校验模块,用于对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息;其中,所述第一置信度信息用于表征所述第一深度图像和所述第二深度图像之间的差异程度。
35、在第二方面的一种具体实现方式中,所述一致性校验模块包括:
36、第一光流变换子模块,用于基于所述第一深度图像对所述左眼图像进行光流变换,得到变换右眼图像;
37、第二光流变换子模块,用于基于所述第二深度图像对所述变换右眼图像进行光流变换,得到变换左眼图像;
38、一致性校验子模块,用于对所述左眼图像和所述变换左眼图像进行一致性校验,得到所述第一置信度信息。
39、在第二方面的一种具体实现方式中,所述深度图像的置信度信息生成装置还包括:
40、水平分量筛选模块,用于分别对所述第一深度图像和所述第二深度图像进行水平分量筛选,得到筛选后的所述第一深度图像和所述第二深度图像;
41、进一步地,所述一致性校验子模块还用于对筛选后的所述第一深度图像和筛选后的所述第二深度图像进行一致性校验,得到第一置信度信息。
42、在第二方面的一种具体实现方式中,所述深度图像的置信度信息生成装置还包括:
43、双目视差处理模块,用于基于已训练的双目视差模型对所述目标三维图像对进行双目视差处理,得到第三深度图像;
44、置信度校验模块,用于对所述第一深度图像和所述第三深度图像进行置信度校验,得到第二置信度信息;其中,所述第二置信度信息用于表征所述第一深度图像和所述第三深度图像之间的差异程度;
45、第三置信度信息确定模块,用于基于所述第一置信度信息和所述第二置信度信息,确定第三置信度信息。
46、在第二方面的一种具体实现方式中,所述置信度校验模块包括:
47、差异程度计算子模块,用于将所述第一深度图像和所述第三深度图像作差,得到所述第一深度图像和所述第三深度图像之间的差异程度;
48、第二置信度信息确定子模块,用于基于所述第一深度图像和所述第三深度图像之间的差异程度,确定所述第二置信度信息。
49、在第二方面的一种具体实现方式中,所述第三置信度信息确定模块包括:
50、第三置信度信息确定第一子模块,用于基于所述第一置信度信息和所述第二置信度信息中的置信度最小值,确定所述第三置信度信息;
51、或者,
52、第三置信度信息确定第二子模块,用于基于所述第一置信度信息和所述第二置信度信息中的置信度最大值,确定所述第三置信度信息;
53、或者,
54、第三置信度信息确定第三子模块,用于基于所述第一置信度信息、所述第二置信度信息和预设的置信度权重,确定所述第三置信度信息。
55、在第二方面的一种具体实现方式中,所述深度图像的置信度信息生成装置还包括:
56、无效像素统计模块,用于统计所述第一深度图像中的无效像素的数目;其中,所述无效像素为位移范围大于预设的有效位移范围的像素;
57、步骤执行模块,用于若所述无效像素的数目小于等于预设的无效像素数目阈值,则执行所述基于所述光流模型对所述右眼图像至所述左眼图像进行光流估计,得到第二深度图像的步骤及其后续步骤。
58、本技术实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种深度图像的置信度信息生成方法的步骤。
59、本技术实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一种深度图像的置信度信息生成方法的步骤。
60、本技术实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述任一种深度图像的置信度信息生成方法的步骤。
61、本技术实施例与现有技术相比存在的有益效果是:本技术实施例获取目标三维图像对;其中,所述目标三维图像对包括同一时刻的左眼图像和右眼图像;基于已训练的光流模型对所述左眼图像至所述右眼图像进行光流估计,得到第一深度图像;基于所述光流模型对所述右眼图像至所述左眼图像进行光流估计,得到第二深度图像;对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息;其中,所述第一置信度信息用于表征所述第一深度图像和所述第二深度图像之间的差异程度。在本技术实施例中,可以对从左眼至右眼的第一深度图像以及从右眼至左眼的第二深度图像进行一致性校验,得到第一置信度信息,据此,可以在缺乏绝对正确的深度图像作为参考的情况下,便捷高效地生成深度图像的置信度信息,从而后续可以根据置信度信息对深度图像进行更合理地应用,有助于提升深度图像的应用效果。
1.一种深度图像的置信度信息生成方法,其特征在于,包括:
2.根据权利要求1所述的深度图像的置信度信息生成方法,其特征在于,所述对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息,包括:
3.根据权利要求1所述的深度图像的置信度信息生成方法,其特征在于,在所述对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息之前,还包括:
4.根据权利要求1所述的深度图像的置信度信息生成方法,其特征在于,在所述对所述第一深度图像和所述第二深度图像进行一致性校验,得到第一置信度信息之后,还包括:
5.根据权利要求4所述的深度图像的置信度信息生成方法,其特征在于,所述对所述第一深度图像和所述第三深度图像进行置信度校验,得到第二置信度信息,包括:
6.根据权利要求4所述的深度图像的置信度信息生成方法,其特征在于,所述基于所述第一置信度信息和所述第二置信度信息,确定第三置信度信息,包括:
7.根据权利要求1至6中任一项所述的深度图像的置信度信息生成方法,其特征在于,在所述基于已训练的光流模型对所述左眼图像至所述右眼图像进行光流估计,得到第一深度图像之后,还包括:
8.一种深度图像的置信度信息生成装置,其特征在于,包括:
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的深度图像的置信度信息生成方法的步骤。
10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的深度图像的置信度信息生成方法的步骤。