基于图像修复与补全的室内动态环境地图构建方法及系统

    技术2026-06-25  19


    本发明涉及环境地图构建,特别是涉及基于图像修复与补全的室内动态环境地图构建方法及系统。


    背景技术:

    1、环境地图是移动机器人与周围世界交互的基础,有助于机器人理解周围环境,辅助机器人完成定位、路径规划、导航避障甚至更高级的任务。而场景中移动物体的存在对于环境地图构建具有较大的挑战,主要表现在动态目标会在建图过程中出现“鬼影”,即目标在连续帧间移动的重影,严重影响了场景地图的可用性与一致性。如果单纯的剔除动态目标后构建地图,其覆盖的静态背景信息也会一并去掉,而充足的环境信息对于家庭服务机器人在室内场景下的任务执行非常必要。另外,目前利用相机深度信息还原场景地图的过程中,由于硬件设备的限制,相机在计算深度时噪声较大,对超过深度传感器测距范围的深度无法准确测量,从而无法完整构建环境地图。

    2、随着科学技术的不断发展,机器人技术已经广泛渗透到各个领域,为人们的生活和工作带来了巨大的便利,移动机器人的市场需求日益增加。环境地图有助于移动机器人在未知环境中完成定位、导航、场景理解、交互等多种智能任务的完成。在现实复杂动态环境中,移动机器人进行环境地图构建时常常会遇到诸多挑战。其中动态目标的干扰是构建全局一致地图的主要难题之一。在室内复杂动态环境中,行人等动态目标不断移动,在图像中留下轨迹或遮挡区域。将这些动态目标剔除后不仅破坏了地图的静态背景信息,还可能导致地图中出现不一致的空洞或噪声,使得机器人在进行导航和定位时难以准确判断环境状况。

    3、深度信息采集的局限性也是构建全局一致地图的一大挑战。在复杂动态环境中,由于摄像机的采集范围和精度限制,以及场景中动态物体的遮挡和反射等问题,深度信息往往存在缺失或误差。这些缺失和误差不仅影响了地图的三维结构和空间关系,还可能导致机器人在导航和避障等任务中发生错误。例如,在动态目标遮挡严重的区域,摄像机无法准确获取深度信息,导致地图中这些区域的深度信息缺失或失真。而基于rgb图像修复的方法无法很好的还原场景中被动态目标遮挡的单通道图片深度,同时无法对相机捕获的不完全深度进行补全,进而导致在构建环境地图时丢失了部分环境信息。

    4、综上所述,如何修复由动态目标对rgb图像以及深度图像造成的空洞并补全设备采集限制导致的深度信息缺失对构建更加准确、一致的环境地图具有重要的意义。而目前针对动态目标对环境建图造成的空洞问题常用不同视角或不同帧的信息修补空洞,该过程需要相机在空间中来回移动或利用多设备在多角度下采集环境信息,增加了成本且与实际场景下的移动机器人运动情况不符。


    技术实现思路

    1、为了解决现有技术的不足,本发明提供了基于图像修复与补全的室内动态环境地图构建方法及系统;

    2、一方面,提供了基于图像修复与补全的室内动态环境地图构建方法,包括:

    3、获取待地图构建的室内深度图像、待地图构建的室内动态物体掩膜图像、待地图构建的室内rgb图像以及相机估计轨迹;

    4、将待地图构建的室内动态物体掩膜图像和待地图构建的室内rgb图像,输入到训练后的基于光流引导的背景修复网络,得到待地图构建的修复后rgb图像;

    5、基于待地图构建的室内动态物体掩膜图像,对待地图构建的室内深度图像进行掩膜映射,得到待地图构建的空洞深度图;将待地图构建的空洞深度图与待地图构建的修复后rgb图像,输入到训练后的基于视觉transformer的深度补全网络,得到待地图构建的补全深度图像;

    6、基于待地图构建的修复后rgb图像、待地图构建的补全深度图像和相机估计轨迹,进行地图构建,得到构建后的地图。

    7、另一方面,提供了基于图像修复与补全的室内动态环境地图构建系统,包括:

    8、获取模块,其被配置为:获取待地图构建的室内深度图像、待地图构建的室内动态物体掩膜图像、待地图构建的室内rgb图像以及相机估计轨迹;

    9、修复模块,其被配置为:将待地图构建的室内动态物体掩膜图像和待地图构建的室内rgb图像,输入到训练后的基于光流引导的背景修复网络,得到待地图构建的修复后rgb图像;

    10、补全模块,其被配置为:基于待地图构建的室内动态物体掩膜图像,对待地图构建的室内深度图像进行掩膜映射,得到待地图构建的空洞深度图;将待地图构建的空洞深度图与待地图构建的修复后rgb图像,输入到训练后的基于视觉transformer的深度补全网络,得到待地图构建的补全深度图像;

    11、构建模块,其被配置为:基于待地图构建的修复后rgb图像、待地图构建的补全深度图像和相机估计轨迹,进行地图构建,得到构建后的地图。

    12、再一方面,还提供了一种电子设备,包括:

    13、存储器,用于非暂时性存储计算机可读指令;以及

    14、处理器,用于运行所述计算机可读指令,

    15、其中,所述计算机可读指令被所述处理器运行时,执行上述第一方面所述的方法。

    16、再一方面,还提供了一种存储介质,非暂时性存储计算机可读指令,其中,当非暂时性计算机可读指令由计算机执行时,执行第一方面所述方法的指令。

    17、再一方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

    18、上述技术方案具有如下优点或有益效果:

    19、根据传感器定位过程所获得的位姿估计,通过基于光流引导的rgb图像修复方法以及修复后的rgb图像引导的深度图像补全,解决因动态目标以及硬件设备导致的信息缺失问题,并利用截断符号距离场构建环境稠密地图,从而使机器人能够获得更详细的环境信息,以应对更加复杂的场景。促进移动机器人能够更好的完成目标分类、检测、定位以及交互、场景理解等视觉任务。



    技术特征:

    1.基于图像修复与补全的室内动态环境地图构建方法,其特征是,包括:

    2.如权利要求1所述的基于图像修复与补全的室内动态环境地图构建方法,其特征是,训练后的基于光流引导的背景修复网络,包括:

    3.如权利要求1所述的基于图像修复与补全的室内动态环境地图构建方法,其特征是,训练后的基于光流引导的背景修复网络,训练过程包括:

    4.如权利要求1所述的基于图像修复与补全的室内动态环境地图构建方法,其特征是,所述训练后的基于视觉transformer的深度补全网络,包括:

    5.如权利要求1所述的基于图像修复与补全的室内动态环境地图构建方法,其特征是,所述训练后的基于视觉transformer的深度补全网络,训练过程包括:

    6.如权利要求1所述的基于图像修复与补全的室内动态环境地图构建方法,其特征是,所述基于待地图构建的修复后rgb图像、待地图构建的补全深度图像和相机估计轨迹,进行地图构建,得到构建后的地图,具体包括:

    7.基于图像修复与补全的室内动态环境地图构建系统,其特征是,包括:

    8.一种电子设备,其特征是,包括:

    9.一种存储介质,其特征是,非暂时性存储计算机可读指令,其中,当非暂时性计算机可读指令由计算机执行时,执行权利要求1-6任一项所述方法的指令。

    10.一种计算机程序产品,其特征是,包括计算机程序,所述计算机程序当在一个或多个处理器上运行的时候用于实现上述权利要求1-6任一项所述的方法。


    技术总结
    本发明公开了基于图像修复与补全的室内动态环境地图构建方法及系统,其中方法,包括:获取待地图构建的室内深度图像、室内动态物体掩膜图像、室内RGB图像以及相机估计轨迹;将室内动态物体掩膜图像和室内RGB图像,输入到训练后的基于光流引导的背景修复网络,得到待地图构建的修复后RGB图像;基于待地图构建的室内动态物体掩膜图像,对室内深度图像进行掩膜映射,得到空洞深度图;将空洞深度图与修复后RGB图像,输入到训练后的基于视觉Transformer的深度补全网络,得到待地图构建的补全深度图像;基于修复后RGB图像、补全深度图像和相机估计轨迹,进行地图构建,得到构建后的地图。

    技术研发人员:袁宪锋,宋勃仪,应仲谋,宋勇,许庆阳,庞豹
    受保护的技术使用者:山东大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-44148.html

    最新回复(0)