本公开涉及电子设备,具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术:
1、随着移动影像技术的发展,移动终端的影像系统往往配备多个相机,例如超广角相机、广角相机、长焦相机等,在变焦预览或拍摄过程中,算法会切换不同的相机以实现更好的成像效果,如何提高相机切换时的平滑过渡效果一直是多相机系统的重要研究方向。
技术实现思路
1、为提高相机切换的平滑效果,本公开实施方式提供了一种图像处理方法、装置、电子设备及存储介质。
2、第一方面,本公开实施方式提供了一种图像处理方法,应用于电子设备,所述方法包括:
3、获取待处理图像以及采集所述待处理图像时对应的物距参数;
4、基于所述物距参数确定所述电子设备的第一相机的第一内参矩阵,以及所述电子设备的第二相机的第二内参矩阵;
5、根据所述第一内参矩阵、所述第二内参矩阵以及预先标定得到的所述第一相机与所述第二相机之间的外参矩阵,确定所述第一相机与所述第二相机之间的目标单应矩阵;
6、基于所述目标单应矩阵对所述待处理图像进行对齐处理,得到目标图像。
7、在一些实施方式中,基于所述物距参数确定所述电子设备的第一相机的第一内参矩阵,以及所述电子设备的第二相机的第二内参矩阵,包括:
8、获取预先标定得到的所述第一相机的主点的第一位置坐标,以及所述第一相机的第一焦距参数、第一像素尺寸参数,并根据所述物距参数、所述第一位置坐标、所述第一焦距参数以及所述第一像素尺寸参数确定所述第一内参矩阵;
9、获取预先标定得到的所述第二相机的主点的第二位置坐标,以及所述第二相机的第二焦距参数、第二像素尺寸参数,并根据所述物距参数、所述第二位置坐标、所述第二焦距参数以及所述第二像素尺寸参数确定所述第二内参矩阵。
10、在一些实施方式中,预先标定所述第一相机与所述第二相机之间的外参矩阵,包括:
11、基于预设物距参数对所述第一相机和所述第二相机进行外参标定处理,得到所述第一相机与所述第二相机之间的外参矩阵;所述外参矩阵包括所述第一相机与所述第二相机之间的相对旋转矩阵和相对平移矩阵。
12、在一些实施方式中,所述获取待处理图像以及采集所述待处理图像时对应的物距参数,包括:
13、获取所述第一相机采集的所述待处理图像,以及所述第一相机采集所述待处理图像时的自动对焦信息;
14、根据所述自动对焦信息确定所述物距参数。
15、在一些实施方式中,所述根据所述自动对焦信息确定所述物距参数,包括:
16、响应于所述自动对焦信息包括的物距值不位于预设距离范围,根据采集前一帧图像时对应的自动对焦信息确定所述物距参数。
17、在一些实施方式中,所述根据所述自动对焦信息确定所述物距参数,包括:
18、响应于所述自动对焦信息包括的物距值不位于预设距离范围,根据所述电子设备的深度传感器采集的深度数据对所述物距值进行补偿处理,得到所述物距参数。
19、在一些实施方式中,所述基于所述目标单应矩阵对所述待处理图像进行对齐处理,得到目标图像,包括:
20、基于所述目标单应矩阵将所述待处理图像的图像坐标映射至所述第二相机的图像空间,得到所述目标图像。
21、在一些实施方式中,所述获取待处理图像以及采集所述待处理图像时对应的物距参数,包括:
22、响应于所述电子设备的相机模组处于变焦状态,获取所述待处理图像以及所述物距参数。
23、第二方面,本公开实施方式提供了一种图像处理装置,应用于电子设备,所述装置包括:
24、获取模块,被配置为获取待处理图像以及采集所述待处理图像时对应的物距参数;
25、内参确定模块,被配置为基于所述物距参数确定所述电子设备的第一相机的第一内参矩阵,以及所述电子设备的第二相机的第二内参矩阵;
26、矩阵确定模块,被配置为根据所述第一内参矩阵、所述第二内参矩阵以及预先标定得到的所述第一相机与所述第二相机之间的外参矩阵,确定所述第一相机与所述第二相机之间的目标单应矩阵;
27、图像对齐模块,被配置为基于所述目标单应矩阵对所述待处理图像进行对齐处理,得到目标图像。
28、在一些实施方式中,所述内参确定模块被配置为:
29、获取预先标定得到的所述第一相机的主点的第一位置坐标,以及所述第一相机的第一焦距参数、第一像素尺寸参数,并根据所述物距参数、所述第一位置坐标、所述第一焦距参数以及所述第一像素尺寸参数确定所述第一内参矩阵;
30、获取预先标定得到的所述第二相机的主点的第二位置坐标,以及所述第二相机的第二焦距参数、第二像素尺寸参数,并根据所述物距参数、所述第二位置坐标、所述第二焦距参数以及所述第二像素尺寸参数确定所述第二内参矩阵。
31、在一些实施方式中,所述矩阵确定模块被配置为:
32、基于预设物距参数对所述第一相机和所述第二相机进行外参标定处理,得到所述第一相机与所述第二相机之间的外参矩阵;所述外参矩阵包括所述第一相机与所述第二相机之间的相对旋转矩阵和相对平移矩阵。
33、在一些实施方式中,所述获取模块被配置为:
34、获取所述第一相机采集的所述待处理图像,以及所述第一相机采集所述待处理图像时的自动对焦信息;
35、根据所述自动对焦信息确定所述物距参数。
36、在一些实施方式中,所述获取模块被配置为:
37、响应于所述自动对焦信息包括的物距值不位于预设距离范围,根据采集前一帧图像时对应的自动对焦信息确定所述物距参数。
38、在一些实施方式中,所述获取模块被配置为:
39、响应于所述自动对焦信息包括的物距值不位于预设距离范围,根据所述电子设备的深度传感器采集的深度数据对所述物距值进行补偿处理,得到所述物距参数。
40、在一些实施方式中,所述图像对齐模块被配置为:
41、基于所述目标单应矩阵将所述待处理图像的图像坐标映射至所述第二相机的图像空间,得到所述目标图像。
42、在一些实施方式中,所述获取模块被配置为:
43、响应于所述电子设备的相机模组处于变焦状态,获取所述待处理图像以及所述物距参数。
44、第三方面,本公开实施方式提供了一种电子设备,包括:
45、处理器;和
46、存储器,存储有计算机指令,所述计算机指令用于使所述处理器执行根据第一方面任意实施方式所述的方法。
47、第四方面,本公开实施方式提供了一种存储介质,存储有计算机指令,所述计算机指令用于使计算机执行根据第一方面任意实施方式所述的方法。
48、本公开实施方式的图像处理方法,包括获取待处理图像以及物距参数,基于物距参数确定电子设备的第一相机的第一内参矩阵和第二相机的第二内参矩阵,根据第一内参矩阵、第二内参矩阵以及预先得到的外参矩阵,确定第一相机与第二相机之间的目标单应矩阵,基于目标单应矩阵对待处理图像进行对齐处理得到目标图像。本公开实施方式中,根据当前待处理图像的物距参数自适应调整单应矩阵,改善双相机图像在不同物距下的图像对齐效果,进而提高相机切换的平滑性。而且仅依据单相机图像即可实现图像对齐,不依赖于图像纹理特征,对于无纹理或弱纹理场景同样可以实现较好的对齐效果,适用场景更广,计算功耗较小,可以满足更多场景的需求。
1.一种图像处理方法,其特征在于,应用于电子设备,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,基于所述物距参数确定所述电子设备的第一相机的第一内参矩阵,以及所述电子设备的第二相机的第二内参矩阵,包括:
3.根据权利要求1所述的方法,其特征在于,预先标定所述第一相机与所述第二相机之间的外参矩阵,包括:
4.根据权利要求1至3任一项所述的方法,其特征在于,所述获取待处理图像以及采集所述待处理图像时对应的物距参数,包括:
5.根据权利要求4所述的方法,其特征在于,所述根据所述自动对焦信息确定所述物距参数,包括:
6.根据权利要求4所述的方法,其特征在于,所述基于所述目标单应矩阵对所述待处理图像进行对齐处理,得到目标图像,包括:
7.根据权利要求1所述的方法,其特征在于,所述获取待处理图像以及采集所述待处理图像时对应的物距参数,包括:
8.一种图像处理装置,其特征在于,应用于电子设备,所述装置包括:
9.一种电子设备,其特征在于,包括:
10.一种存储介质,其特征在于,存储有计算机指令,所述计算机指令用于使计算机执行根据权利要求1至7任一项所述的方法。
