本技术涉及计算机,特别涉及一种作业机械的辅助图像展示方法、装置、介质及电子设备。
背景技术:
1、作业机械(例如挖掘机)广泛应用于隧道施工、抢险救援等作业场景,随着5g通信的商用和普及,作业机械开始实现远程遥控功能,操作员通过观察作业机械现场作业的视频,以感知作业机械的作业状态,并根据作业状态远程操作作业机械作业。
2、相关技术中,在当前的挖掘机远程遥控操作系统中,主显示界面由于缺乏立体视觉元素,无法有效地传达丰富的环境深度信息,操控挖机的师傅难以精准地判断屏幕上各物体与挖掘机的实际距离关系,增加了操作难度。同时由于遥控视野受限且无法还原操作体感,司机无法直观的感知挖机的姿态变化,难以实时判断挖机前后倾及左右倾程度,增大了作业风险。
技术实现思路
1、本技术实施例提供了一种作业机械的辅助图像展示方法、装置、介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
2、第一方面,本技术实施例提供了一种作业机械的辅助图像展示方法,方法包括:
3、获取预设在目标作业机械上的摄像头采集的作业机械图像,并根据作业机械图像,生成目标作业机械的侧视图和后视图;
4、根据侧视图和后视图,生成目标作业机械的辅助图像;其中,辅助图像包括侧向剖面视图或姿态图,侧向剖面视图用于展示目标作业机械在预设方向上的环境信息和实时姿态信息,姿态图用于显示目标作业机械的实时姿态信息;
5、展示侧向剖面视图或姿态图。
6、可选的,根据侧视图和后视图,生成目标作业机械的辅助图像,包括:
7、在目标作业机械处于预设侧剖面展示模式的情况下,获取预设在目标作业机械上的激光雷达采集的点云信息;其中,预设侧剖面展示模式用于展示目标作业机械的侧剖面视角图和姿态图,侧剖面视角图用于展示目标作业机械在预设方向上的环境信息;
8、根据点云信息,对侧视图进行虚拟视点渲染处理,得到目标作业机械的侧剖面视角图;
9、获取并预设在目标作业机械上的惯性测量单元采集的数据,得到姿态信息;
10、根据姿态信息,生成目标作业机械的姿态图;
11、将侧剖面视角图和姿态图组合,得到目标作业机械的侧向剖面视图;
12、将侧向剖面视图作为目标作业机械的辅助图像。
13、可选的,根据侧视图和后视图,生成目标作业机械的辅助图像,包括:
14、在目标作业机械处于预设姿态展示模式的情况下,获取并预设在目标作业机械上的惯性测量单元采集的数据,得到姿态信息;预设姿态展示模式用于展示目标作业机械的姿态图;
15、根据姿态信息,生成目标作业机械的姿态图;
16、将姿态图作为目标作业机械的辅助图像。
17、可选的,根据点云信息,对侧视图进行虚拟视点渲染处理,得到目标作业机械的侧剖面视角图,包括:
18、对点云信息进行强度滤波,得到滤波的点云信息;
19、在侧视图中,建立目标作业机械的目标坐标系;
20、将滤波的点云信息旋转至目标坐标系,并在目标坐标系中筛选符合预设形状的目标点云;
21、根据预设虚拟视点,获取目标坐标系与侧视图之间的投影矩阵;
22、根据投影矩阵,将筛选的目标点云投影至侧视图上,得到目标作业机械的侧剖面视角图。
23、可选的,根据投影矩阵,将筛选的目标点云投影至侧视图上,得到目标作业机械的侧剖面视角图,包括:
24、将每个目标点云在目标坐标系中的二维坐标,转换为世界坐标系中的世界坐标;
25、基于投影矩阵,将每个目标点云的世界坐标投影到相机坐标系中的相机坐标;
26、根据每个目标点云的相机坐标,将每个目标点云投影至侧视图上,得到目标作业机械的侧剖面视角图。
27、可选的,惯性测量单元包括加速度计和陀螺仪;
28、获取并预设在目标作业机械上的惯性测量单元采集的数据,得到姿态信息,包括:
29、获取陀螺仪的感知数据;
30、基于陀螺仪的感知数据,执行姿态动态预测,得到原始姿态数据;
31、获取加速度计的感知数据;
32、根据加速度计的感知数据,对原始姿态数据进行修正,得到姿态信息。
33、可选的,根据姿态信息,生成目标作业机械的姿态图,包括:
34、在姿态信息满足预设条件时,根据姿态信息计算图像旋转矩阵;
35、根据图像旋转矩阵,对侧视图中的目标作业机械进行前后方向的旋转;
36、根据图像旋转矩阵,对后视图中的目标作业机械进行左右方向的旋转;
37、将旋转的角度绘制在旋转了目标作业机械的侧视图和后视图中,得到目标侧视图和目标后视图;
38、计算旋转的目标作业机械的最低点;
39、以最低点为基准,在目标侧视图和目标后视图中绘制目标作业机械的水平线,得到目标作业机械的姿态图。
40、第二方面,本技术实施例提供了一种作业机械的辅助图像展示装置,装置包括:
41、作业机械图像获取模块,用于获取预设在目标作业机械上的摄像头采集的作业机械图像,并根据作业机械图像,生成目标作业机械的侧视图和后视图;
42、辅助图像生成模块,用于根据侧视图和后视图,生成目标作业机械的辅助图像;其中,辅助图像包括侧向剖面视图或姿态图,侧向剖面视图用于展示目标作业机械在预设方向上的环境信息和实时姿态信息,姿态图用于显示目标作业机械的实时姿态信息;
43、图像展示模块,用于展示侧向剖面视图或姿态图。
44、第三方面,本技术实施例提供一种计算机存储介质,计算机存储介质存储有多条指令,指令适于由处理器加载并执行上述的方法步骤。
45、第四方面,本技术实施例提供一种电子设备,可包括:处理器和存储器;其中,存储器存储有计算机程序,计算机程序适于由处理器加载并执行上述的方法步骤。
46、本技术实施例提供的技术方案可以包括以下有益效果:
47、在本技术实施例中,一方面,生成的目标作业机械的辅助图像包含侧向剖面视图,该侧向剖面视图用于展示目标作业机械在预设方向上的环境信息,该环境信息能详尽展现出作业机械的前方地形的三维结构与高度差异,使驾驶员能够清晰地看到作业前方的地形状况,从而提升了环境中地形感知的精确度和实时性;另一方面,生成的目标作业机械的辅助图像包含作业机械的实时姿态信息,实时姿态信息为操作员提供了直观且全面的姿态信息展示;因此本技术目标作业机械的辅助图像能够弥补现有主视角不足的缺陷,从而提高了作业安全性,同时也优化了作业机械远程遥控操作的整体效能与体验。
48、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
1.一种作业机械的辅助图像展示方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述侧视图和后视图,生成所述目标作业机械的辅助图像,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述侧视图和后视图,生成所述目标作业机械的辅助图像,包括:
4.根据权利要求2所述的方法,其特征在于,根据所述点云信息,对所述侧视图进行虚拟视点渲染处理,得到所述目标作业机械的侧剖面视角图,包括:
5.根据权利要求4所述的方法,其特征在于,所述根据所述投影矩阵,将筛选的所述目标点云投影至所述侧视图上,得到所述目标作业机械的侧剖面视角图,包括:
6.根据权利要求2或3所述的方法,其特征在于,所述惯性测量单元包括加速度计和陀螺仪;
7.根据权利要求2或3所述的方法,其特征在于,所述根据所述姿态信息,生成所述目标作业机械的姿态图,包括:
8.一种作业机械的辅助图像展示装置,其特征在于,所述装置包括:
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-7任意一项所述的方法。
10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项所述的方法。