一种用于图像检测的数字孪景方法及系统与流程

    技术2026-08-29  4


    本发明涉及数字孪生,具体地,涉及一种用于图像检测的数字孪景方法及系统。


    背景技术:

    1、在图像检测的过程中,能否实时获取足够的场景信息是影响检测效果的关键,传统的基于人工巡检的方法效率低下且不可避免的会受到人工主观意识的影响,而传感器或者传统影像的方法虽然在效率上有所提升且减少了主观意识的影响,但其集成与扩展能力不足,只能对其检测范围内的单一特性进行孤立的检查,难以满足复杂和变化的需求。

    2、而最近的数字孪生技术,则是通过创建物理实体在虚拟空间中的映射,对来自不同来源的物理实体实时状态信息进行整合,实现虚拟对象与实体在全生命周期内的同步,在虚拟空间中创造出物理实体的孪生体,进行全面的数据共享和协同,提供实时的反馈和数据辅助以进行检测与分析,进而反馈物理实体,进行更有效地干预与控制。

    3、但现有的数字孪生虚拟环境构建过程中,大多是通过拍摄装置的相机内参矩阵和相机外参,获取变换关系,实现从物理实体到孪生体的映射,但上述方式存在以下弊端,当相机安装位置出现误差时,通过相机内外参获取变换关系,再通过变换关系将物理实体映射为孪生体的映射精确度就难以得到保障。


    技术实现思路

    1、为解决上述现有技术存在的不足,本发明提供了一种用于图像检测的数字孪景方法,所述方法包括以下步骤:

    2、预先对待检测场景的静态场景信息进行勘测得到勘测数据,基于所述勘测数据,进行虚拟环境的建模;

    3、基于所述待检测场景,确定相机的安装位置,使相机的整体视野能够覆盖整个所述待检测场景,并在所述虚拟环境中对应位置创建相机模型;

    4、通过相机实时拍摄视频,在所述拍摄视频中选取预设数量的特征点,并在所述虚拟环境中查找得到与所述特征点对应的坐标点,基于所述特征点及对应的坐标点,建立从图像坐标点到世界坐标点的变换关系;

    5、利用相机对进入待检测场景的目标物体进行检测,获取所述目标物体的预设信息,基于所述变换关系及相机的安装位置,将所述预设信息转换为虚拟环境中的物体信息;

    6、根据检测到的目标物体的物体类型,选取对应的预制物体模型,利用所述物体信息对所述预制物体模型进行渲染,将渲染后的目标物体与所述虚拟环境结合,生成数字孪生虚拟环境。

    7、本发明是通过以下技术方案实现的:本发明目的在于提供一种用于图像检测的数字孪景方法,旨在解决在监控和管理中对实际场景进行实时数字孪生的问题,通过该方法,可以将预先勘测的数据和相机的安装位置结合起来,构建虚拟场景;通过对相机视频进行图像处理和3d场景映射,实现对目标物体的检测和信息获取,并根据这些信息在虚拟场景中进行渲染。

    8、具体包括:预先对待检测场景的静态场景信息进行勘测获取勘测数据,基于勘测数据,进行虚拟环境的建模,确保虚拟环境的模型与实际场景的一致性;根据待检测场景,确定相机的最佳安装位置,使相机的整体视野能够覆盖整个待检测场景,并在虚拟环境的相应位置创建相机模型;安装相机之后,对每个相机拍摄到的视频选取预设数量的特征点,这些特征点应是场景中的显著特征点,如角点、边缘点等,根据这些特征点与其在虚拟环境中坐标点的对应关系,建立从图像坐标点到世界坐标点的变换关系;利用安装好的相机,对进入待检测场景的目标物体进行检测,获取目标物体的预设信息,如目标物体在相机图像中的像素位置、物体类型以及运动姿态等信息,再根据标定出的变换关系以及预先设定好的相机安装位置,将这些预设信息转换为3d场景虚拟环境中的世界坐标、物体类型以及运动姿态等信息。最后根据检测到的目标物体的物体类型,选取对应的预制物体模型,利用转换的物体信息对选取的预制物体模型进行渲染,将渲染后的目标物体与预先建立好的虚拟环境模型进行结合,形成数字孪生虚拟环境。

    9、作为一种可选的技术方案,利用3d建模软件进行虚拟环境的建模。

    10、作为一种可选的技术方案,所述方法还包括:

    11、利用相机对进入待检测场景的目标物体进行检测得到检测结果;

    12、通过整合多相机的检测结果,获取所述目标物体的预设信息。

    13、作为一种可选的技术方案,所述预设信息包括所述目标物体在相机图像中的像素位置、物体类型、物体运动姿态及物体颜色外观。

    14、作为一种可选的技术方案,所述物体信息包括所述目标物体在所述虚拟环境中的世界坐标、物体类型、物体运动姿态及物体颜色外观。

    15、作为一种可选的技术方案,所述方法还包括:

    16、预先获取多个物体的物体类型,针对每个物体类型均进行建模,得到多个预制物体模型。

    17、为解决上述现有技术的不足,本发明提供了一种用于图像检测的数字孪景系统,所述系统包括:

    18、勘测建模单元,用于预先对待检测场景的静态场景信息进行勘测得到勘测数据,基于所述勘测数据,进行虚拟环境的建模;

    19、相机模型单元,用于基于所述待检测场景,确定相机的安装位置,使相机的整体视野能够覆盖整个所述待检测场景,并在所述虚拟环境中对应位置创建相机模型;

    20、变换关系单元,用于通过相机实时拍摄视频,在所述拍摄视频中选取预设数量的特征点,并在所述虚拟环境中查找得到与所述特征点对应的坐标点,基于所述特征点及对应的坐标点,建立从图像坐标点到世界坐标点的变换关系;

    21、转换单元,用于利用相机对进入待检测场景的目标物体进行检测,获取所述目标物体的预设信息,基于所述变换关系及相机的安装位置,将所述预设信息转换为虚拟环境中的物体信息;

    22、渲染单元,用于根据检测到的目标物体的物体类型,选取对应的预制物体模型,利用所述物体信息对所述预制物体模型进行渲染,将渲染后的目标物体与所述虚拟环境结合,生成数字孪生虚拟环境。

    23、本发明提供的一个或多个技术方案,至少具有如下技术效果或优点:

    24、本发明预先建立环境模型并设立相机安装位置,通过对安装后的相机进行像素坐标到世界坐标变换关系的再次标定消除了安装过程带来的误差。

    25、本发明通过整合多相机的检测结果,依据相机标定得到的变换关系,获取物体的种类、状态及位置等信息,实现了从实际物体到虚拟环境中孪生物体的转换,并将其余预先建立的模型结合得到与现实世界实时同步的数字孪生虚拟环境。



    技术特征:

    1.一种用于图像检测的数字孪景方法,其特征在于,所述方法包括以下步骤:

    2.根据权利要求1所述的一种用于图像检测的数字孪景方法,其特征在于,利用3d建模软件进行虚拟环境的建模。

    3.根据权利要求1所述的一种用于图像检测的数字孪景方法,其特征在于,所述方法还包括:

    4.根据权利要求1所述的一种用于图像检测的数字孪景方法,其特征在于,所述预设信息包括所述目标物体在相机图像中的像素位置、物体类型、物体运动姿态及物体颜色外观。

    5.根据权利要求1所述的一种用于图像检测的数字孪景方法,其特征在于,所述物体信息包括所述目标物体在所述虚拟环境中的世界坐标、物体类型、物体运动姿态及物体颜色外观。

    6.根据权利要求1所述的一种用于图像检测的数字孪景方法,其特征在于,所述方法还包括:

    7.一种用于图像检测的数字孪景系统,其特征在于,所述系统包括:


    技术总结
    本发明公开了一种用于图像检测的数字孪景方法及系统,涉及数字孪生技术领域,包括:预先对待检测场景勘测,对虚拟环境建模;基于待检测场景,确定相机安装位置,使相机视野能覆盖整个待检测场景并创建相机模型;通过相机实时拍摄视频,在视频中选取特征点,并查找与特征点对应的坐标点,基于特征点及坐标点,建立从图像坐标点到世界坐标点的变换关系;利用相机对目标物体进行检测,获取目标物体的预设信息,基于变换关系及相机的安装位置,将预设信息转换为虚拟环境中的物体信息;选取预制物体模型并进行渲染,将渲染后的目标物体与所述虚拟环境结合,生成数字孪生虚拟环境。本发明能解决相机安装位置误差造成从2D到3D映射精确度不高的问题。

    技术研发人员:程序贤,任鹏,黄淇
    受保护的技术使用者:成都臻识科技发展有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-47707.html

    最新回复(0)