本申请涉及图像处理,特别是涉及一种抬头显示方法、装置、介质及车辆。
背景技术:
1、汽车抬头显示器(head-up display,hud)是现代汽车驾驶信息系统中一项必备的功能。hud依赖于先进的光学技术和投影设备,能够将包含驾驶信息的hud图像投影在驾驶员的视线范围内,显示在前风挡的透明区域上,与道路景象融为一体。汽车hud不仅减少了驾驶员的视线离开道路的时间,还避免了低头查看仪表盘造成的注意力分散,为驾驶员提供了极大的便利,极大地提升了驾驶体验和安全性。
2、目前大多数的hud都是二维的信息展示,不能很清晰形象的展示道路信息,而ar-hud(基于增强现实的抬头显示)虽然可以以3d渲染的方式在前方道路上叠加指引信息,能让车主更直观的跟随指引,但由于定位误差、位姿误差等原因,导致3d渲染物在显示时不够稳定,存在抖动、漂移、卡顿等问题,影响了用户体验。
技术实现思路
1、本申请提供一种抬头显示方法、装置、介质及车辆,能够提高车辆位姿估计的精度和鲁棒性,以提高抬头显示效果。
2、本申请实施例第一方面提供一种抬头显示方法,上述方法包括:
3、对车载图像进行特征点检测,得到多个原始特征点及所述原始特征点对应的特征信息;
4、对所述原始特征点进行筛选,得到目标特征点;
5、将所述目标特征点对应的特征信息与初始位姿信息进行融合,得到位姿预测结果;
6、基于所述位姿预测结果进行成像渲染,生成抬头显示画面。
7、可选地,对车载图像进行特征点检测,得到多个原始特征点及所述原始特征点对应的特征信息,包括:
8、利用预置的卷积神经网络模型对所述车载图像进行特征点检测,得到角点概率图;
9、将所述角点概率图中概率值大于概率阈值的角点,确定为所述原始特征点;
10、基于每个所述原始特征点的位置信息和描述子,得到所述原始特征点对应的特征信息,所述描述子用于描述所述原始特征点周围的局部图像纹理信息。
11、可选地,对所述原始特征点进行筛选,得到目标特征点,包括:
12、确定所述原始特征点对应的方差膨胀系数,并基于所述方差膨胀系数对所述原始特征点进行稳定性筛选,得到第一特征点;和/或,
13、确定所述原始特征点对应的特征值,并基于所述特征值对所述原始特征点进行可区分性筛选,得到第二特征点;
14、基于所述第一特征点和/或所述第二特征点,确定所述目标特征点。
15、可选地,确定所述原始特征点对应的方差膨胀系数,包括:
16、针对任一所述原始特征点,将所述原始特征点与其余的原始特征点作线性回归,得到所述原始特征点对应的决定系数;
17、基于所述决定系数,确定所述原始特征点对应的方差膨胀系数。
18、可选地,基于所述方差膨胀系数对所述原始特征点进行稳定性筛选,得到第一特征点,包括:
19、确定当前场景对应的方差膨胀阈值;
20、将所述方差膨胀系数小于预设方差膨胀阈值的原始特征点,确定为所述第一特征点。
21、可选地,确定所述原始特征点对应的特征值,包括:
22、基于多张连续的所述车载图像的原始特征点形成的特征矩阵,构建所述特征矩阵对应的协方差矩阵;
23、对所述协方差矩阵进行特征分解,得到所述原始特征点对应的特征值。
24、可选地,基于所述特征值对所述原始特征点进行可区分性筛选,得到第二特征点,包括:
25、对所述特征值进行降序排列;
26、将靠前的预设数量的特征值对应的所述原始特征点,确定为所述第二特征点。
27、可选地,将所述目标特征点对应的特征信息与初始位姿信息进行融合,得到位姿预测结果,包括:
28、构建所述初始位姿信息对应的状态向量;所述初始位姿信息至少包括相机位姿数据和惯性测量单元数据;
29、基于所述目标特征点对应的特征信息构建第一观测方程,通过最小化所述目标特征点的重投影误差来约束相机的位姿状态;
30、基于所述惯性测量单元数据构建第二观测方程,约束相机的位姿变化;
31、基于所述第一观测方程和所述第二观测方程求解所述状态向量的最优解,得到所述位姿预测结果。
32、基于相同发明构思,本申请实施例第二方面提供一种抬头显示装置,上述装置包括:
33、特征点检测模块,用于对车载图像进行特征点检测,得到多个原始特征点及所述原始特征点对应的特征信息;
34、特征点筛选模块,用于对所述原始特征点进行筛选,得到目标特征点;
35、位姿估计模块,用于将所述目标特征点对应的特征信息与初始位姿信息进行融合,得到位姿预测结果;
36、渲染显示模块,用于基于所述位姿预测结果进行成像渲染,生成抬头显示画面。
37、基于相同发明构思,本申请实施例第三方面提供一种存储介质,所述存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现如本申请第一方面提出的抬头显示方法。
38、基于相同发明构思,本申请实施例第四方面提供一种车辆,包括处理器和存储器;所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如本申请第一方面提出的抬头显示方法。
39、与现有技术相比,本申请包括以下优点:
40、本申请实施例提供的一种抬头显示方法,首先对车载图像进行特征点检测,得到多个原始特征点及原始特征点对应的特征信息。然后对原始特征点进行筛选,得到目标特征点,并将目标特征点对应的特征信息与初始位姿信息进行融合,得到位姿预测结果。最后基于位姿预测结果进行成像渲染,生成抬头显示画面。从而,通过对特征点进行初始检测和筛选,以提取出更准确、稳定的目标特征点,并基于目标特征点进行位姿信息融合和预测,以提高车辆位姿估计的精度和鲁棒性,进而提高车辆抬头显示效果。
1.一种抬头显示方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,对车载图像进行特征点检测,得到多个原始特征点及所述原始特征点对应的特征信息,包括:
3.根据权利要求1所述的方法,其特征在于,对所述原始特征点进行筛选,得到目标特征点,包括:
4.根据权利要求3所述的方法,其特征在于,确定所述原始特征点对应的方差膨胀系数,包括:
5.根据权利要求3所述的方法,其特征在于,基于所述方差膨胀系数对所述原始特征点进行稳定性筛选,得到第一特征点,包括:
6.根据权利要求3所述的方法,其特征在于,确定所述原始特征点对应的特征值,包括:
7.根据权利要求6所述的方法,其特征在于,基于所述特征值对所述原始特征点进行可区分性筛选,得到第二特征点,包括:
8.根据权利要求1所述的方法,其特征在于,将所述目标特征点对应的特征信息与初始位姿信息进行融合,得到位姿预测结果,包括:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1至8任一项所述的抬头显示方法。
10.一种车辆,其特征在于,包括处理器和存储器;所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,实现如权利要求1至8任一项所述的抬头显示方法。