本公开涉及计算机领域,尤其涉及自动驾驶领域,特别涉及一种超广角图像获取方法和装置和平行驾驶系统。
背景技术:
1、自动驾驶,又称无人驾驶,是依靠计算机与人工智能技术在没有人操纵的情况下,完成驾驶的一项技术。
2、在自动驾驶领域,平行驾驶系统是平行于无人驾驶系统的一个独立系统,可提升无人驾驶系统安全性的辅助功能。平行驾驶系统负责监控和引导自动驾驶车辆的运行,当自动驾驶车辆的自动驾驶系统遇到感知受限、内部故障等问题而无法自主解决时,可向控制中心提出接管请求,控制中心启动平行驾驶,通过远端的驾驶模拟器对自动驾驶车辆进行远程遥控驾驶。控制中心可以对多个自动驾驶车辆进行平行驾驶控制。
3、控制中心的远程驾驶人员需要自动驾驶车辆周围的超广角图像,以便对自动驾驶车辆进行平行驾驶控制。该超广角图像通常要求具有大于180度的超广角视野,和满足人眼自然视觉观感的无畸变图像显示效果,以提升远程遥控驾驶的安全性。
4、在一些相关技术中,将多个针孔相机拍摄的多个广角图像配准和融合起来,来获得满足上述要求的超广角图像。若想配准和融合成功,需要多个广角图像具有较大的重叠区域。例如,将两个针孔相机拍摄的两个120度的广角图像配准和融合起来,或者,将三个针孔相机拍摄的三个90度的广角图像配准和融合起来,来获得满足上述要求的超广角图像。
技术实现思路
1、本公开实施例基于鱼眼相机拍摄的有畸变的超广角图像,通过畸变矫正和分区域的水平拉伸,获得具有超广角视野和满足人眼自然视觉观感的超广角图像,不需要多个针孔相机的配合,也不需要多个广角图像的复杂的配准和融合处理。
2、本公开一些实施例提出一种超广角图像获取方法,包括:获取鱼眼相机拍摄的第一超广角图像;对第一超广角图像进行矫正,得到第二超广角图像;根据感兴趣区域的参数,从第二超广角图像中截取出感兴趣区域的图像;对第二超广角图像中的位于感兴趣区域的图像两侧的图像进行水平拉伸;拼接感兴趣区域的图像和水平拉伸后的图像,得到第三超广角图像。
3、在一些实施例中,对第一超广角图像进行矫正,得到第二超广角图像包括:确定第一超广角图像中的像素点与期望矫正后图像中的像素点之间的位置映射关系;利用位置映射关系,将第一超广角图像中的像素点的像素信息映射到期望矫正后图像中的相应位置的像素点,得到第二超广角图像。
4、在一些实施例中,确定第一超广角图像中的像素点与期望矫正后图像中的像素点之间的位置映射关系包括:根据期望矫正后图像的边长和期望矫正后图像中的像素点的坐标,确定期望矫正后图像中的像素点在极坐标系中的角度;根据畸变半径和期望矫正后图像中的像素点在极坐标系中的角度,确定期望矫正后图像中的像素点的映射坐标,畸变半径根据期望矫正后图像的边长确定;根据第一超广角图像的中心点坐标和期望矫正后图像中的像素点的映射坐标,建立第一超广角图像中的像素点与期望矫正后图像中的像素点之间的位置映射关系。
5、在一些实施例中,根据期望矫正后图像的边长和期望矫正后图像中的像素点的坐标,确定期望矫正后图像中的像素点在极坐标系中的角度包括:将π乘以期望矫正后图像中的像素点的坐标,并除以期望矫正后图像的边长得到商,将π减去商,得到期望矫正后图像中的像素点在极坐标系中的角度。
6、在一些实施例中,得到期望矫正后图像中的像素点在极坐标系中的角度包括:将π乘以期望矫正后图像中的像素点在水平方向的坐标,并除以期望矫正后图像的边长得到第一商,将π减去第一商,得到期望矫正后图像中的像素点在极坐标系中水平方向的角度;将π乘以期望矫正后图像中的像素点在垂直方向的坐标,并除以期望矫正后图像的边长得到第二商,将π减去第二商,得到期望矫正后图像中的像素点在极坐标系中垂直方向的角度。
7、在一些实施例中,根据畸变半径和期望矫正后图像中的像素点在极坐标系中的角度,确定期望矫正后图像中的像素点的映射坐标包括:根据期望矫正后图像中的像素点在极坐标系中的角度,确定映射参数;将畸变半径除以映射参数,得到期望矫正后图像中的像素点的映射坐标。
8、在一些实施例中,根据期望矫正后图像中的像素点在极坐标系中的角度,确定映射参数包括:将期望矫正后图像中的像素点在极坐标系中水平方向的角度的正切的平方加上1,再加上期望矫正后图像中的像素点在极坐标系中水平方向的角度的正切的平方除以期望矫正后图像中的像素点在极坐标系中垂直方向的角度的正切的平方所得的商,将所得的和值开方,得到水平方向的映射参数;将期望矫正后图像中的像素点在极坐标系中垂直方向的角度的正切的平方加上1,再加上期望矫正后图像中的像素点在极坐标系中垂直方向的角度的正切的平方除以期望矫正后图像中的像素点在极坐标系中水平方向的角度的正切的平方所得的商,将所得的和值开方,得到垂直方向的映射参数。
9、在一些实施例中,将畸变半径除以映射参数,得到期望矫正后图像中的像素点的映射坐标包括:将畸变半径除以水平方向的映射参数,得到期望矫正后图像中的像素点在水平方向的映射坐标;将畸变半径除以垂直方向的映射参数,得到期望矫正后图像中的像素点在垂直方向的映射坐标。
10、在一些实施例中,畸变半径为期望矫正后图像的边长的一半。
11、在一些实施例中,根据第一超广角图像的中心点坐标和期望矫正后图像中的像素点的映射坐标,建立第一超广角图像中的像素点与期望矫正后图像中的像素点之间的位置映射关系包括:响应于期望矫正后图像中的像素点在极坐标系中的角度小于π/2,将第一超广角图像的中心点坐标与期望矫正后图像中的像素点的映射坐标的坐标和,作为与期望矫正后图像中的像素点相应位置的第一超广角图像中的像素点的坐标。
12、在一些实施例中,根据第一超广角图像的中心点坐标和期望矫正后图像中的像素点的映射坐标,建立第一超广角图像中的像素点与期望矫正后图像中的像素点之间的位置映射关系包括:响应于期望矫正后图像中的像素点在极坐标系中的角度大于等于π/2,将第一超广角图像的中心点坐标减去期望矫正后图像中的像素点的映射坐标所得到的坐标差,作为与期望矫正后图像中的像素点相应位置的第一超广角图像中的像素点的坐标。
13、在一些实施例中,感兴趣区域的参数指示感兴趣区域位于第二超广角图像中的中部区域或畸变小于预设畸变的区域。
14、在一些实施例中,对第二超广角图像中的位于感兴趣区域的图像两侧的图像进行水平拉伸包括:将第二超广角图像中的位于感兴趣区域的图像两侧的图像,沿着水平方向划分为多个图像区域;按照不同的拉伸倍数对多个图像区域分别进行水平拉伸,其中,越靠近边缘的图像区域的拉伸倍数越大。
15、在一些实施例中,该方法还包括:在得到第二超广角图像之后,对第二超广角图像中缺少像素信息的像素点进行像素信息的插值填充。
16、在一些实施例中,该方法还包括:利用第三超广角图像,对鱼眼相机所在的自动驾驶车辆进行平行驾驶控制。
17、本公开一些实施例提出一种超广角图像获取装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器中的指令,执行超广角图像获取方法。
18、本公开一些实施例提出一种超广角图像获取装置,包括:执行超广角图像获取方法的模块。
19、本公开一些实施例提出一种平行驾驶系统,包括:自动驾驶车辆,设置有鱼眼相机,被配置为将鱼眼相机拍摄的第一超广角图像传输给控制中心;以及控制中心,被配置为执行超广角图像获取方法,利用执行超广角图像获取方法矫正得到的第三超广角图像,对自动驾驶车辆进行平行驾驶控制。
20、本公开一些实施例提出一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现超广角图像获取方法的步骤。
21、本公开一些实施例提出一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现超广角图像获取方法的步骤。
1.一种超广角图像获取方法,包括:
2.根据权利要求1所述的超广角图像获取方法,其中,对所述第一超广角图像进行矫正,得到第二超广角图像包括:
3.根据权利要求2所述的超广角图像获取方法,其中,确定所述第一超广角图像中的像素点与期望矫正后图像中的像素点之间的位置映射关系包括:
4.根据权利要求3所述的超广角图像获取方法,其中,根据所述期望矫正后图像的边长和所述期望矫正后图像中的像素点的坐标,确定所述期望矫正后图像中的像素点在极坐标系中的角度包括:
5.根据权利要求4所述的超广角图像获取方法,其中,得到所述期望矫正后图像中的像素点在极坐标系中的角度包括:
6.根据权利要求3所述的超广角图像获取方法,其中,根据畸变半径和所述期望矫正后图像中的像素点在极坐标系中的角度,确定所述期望矫正后图像中的像素点的映射坐标包括:
7.根据权利要求6所述的超广角图像获取方法,其中,根据所述期望矫正后图像中的像素点在极坐标系中的角度,确定映射参数包括:
8.根据权利要求6所述的超广角图像获取方法,其中,将所述畸变半径除以所述映射参数,得到所述期望矫正后图像中的像素点的映射坐标包括:
9.根据权利要求3所述的超广角图像获取方法,其中,所述畸变半径为所述期望矫正后图像的边长的一半。
10.根据权利要求3所述的超广角图像获取方法,其中,根据所述第一超广角图像的中心点坐标和所述期望矫正后图像中的像素点的映射坐标,建立所述第一超广角图像中的像素点与所述期望矫正后图像中的像素点之间的位置映射关系包括:
11.根据权利要求3所述的超广角图像获取方法,其中,根据所述第一超广角图像的中心点坐标和所述期望矫正后图像中的像素点的映射坐标,建立所述第一超广角图像中的像素点与所述期望矫正后图像中的像素点之间的位置映射关系包括:
12.根据权利要求1所述的超广角图像获取方法,其中,所述感兴趣区域的参数指示感兴趣区域位于所述第二超广角图像中的中部区域或畸变小于预设畸变的区域。
13.根据权利要求1所述的超广角图像获取方法,其中,对所述第二超广角图像中的位于所述感兴趣区域的图像两侧的图像进行水平拉伸包括:
14.根据权利要求1-13任一项所述的超广角图像获取方法,还包括:在得到第二超广角图像之后,对所述第二超广角图像中缺少像素信息的像素点进行像素信息的插值填充。
15.根据权利要求1-13任一项所述的超广角图像获取方法,还包括:利用所述第三超广角图像,对所述鱼眼相机所在的自动驾驶车辆进行平行驾驶控制。
16.一种超广角图像获取装置,包括:
17.一种超广角图像获取装置,包括:执行权利要求1-15中任一项所述的超广角图像获取方法的模块。
18.一种平行驾驶系统,包括:
19.一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1-15中任一项所述的超广角图像获取方法的步骤。
20.一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-15中任一项所述的超广角图像获取方法的步骤。