一种场景信息机器视觉理解方法、装置、设备及存储介质与流程

    技术2024-12-25  48


    本申请涉及人工智能,更具体地,涉及一种场景信息机器视觉理解方法、装置、设备及存储介质。


    背景技术:

    1、工业场景区域大、目标多,依赖监控系统人工判别耗时长且容易漏判,造成生产安全隐患。现有的目标识别技术主要实现对象类型的识别功能,缺乏对于整个场景的理解,难以直接对场景内所有信息进行综合评估,多个场景的定性和定量结论仍需人工总结,监控效率较低且存在安全隐患。


    技术实现思路

    1、针对现有技术的至少一个缺陷或改进需求,本发明提供了一种场景信息机器视觉理解方法、装置、设备及存储介质,将克服上述现有技术存在的问题至少其中之一。

    2、为实现上述目的,按照本发明的第一个方面,提供了一种场景信息机器视觉理解方法,该方法包括:

    3、获取场景图像,所述场景图像包含所有目标的目标信息;

    4、对所述场景图像进行语义分割,对同类型目标进行分割,将每一类型的不同目标划分为多个独立个体;

    5、对每个场景目标进行识别,获取每个目标的类别信息、状态信息和坐标信息;获取目标之间的关联性,所述关联性包括物理关联性、空间关联性和类别关联性;

    6、基于目标的类别信息、坐标信息和关联性,构建场景中所有目标的知识图谱;

    7、基于所述知识图谱构建图神经网络,基于所述图神经网络生成场景图像状态描述。

    8、进一步地,上述场景信息机器视觉理解方法,对所述场景图像进行语义分割,具体包括:

    9、对所述场景图像进行语义分割,对不同类别目标用差异化掩码表示。

    10、进一步地,上述场景信息机器视觉理解方法,所述对每个场景目标进行识别,获取每个目标的类别信息、状态信息和坐标信息,具体包括:

    11、对场景中所有目标进行识别,获取所有目标的类别信息;

    12、对场景中所有目标所处状态进行识别,获取所有目标的状态信息;

    13、对场景中所有目标进行定位,获取所有目标的坐标信息;

    14、将每个目标的类型信息、状态信息和坐标信息对齐。

    15、进一步地,上述场景信息机器视觉理解方法,所述基于目标的类别信息、坐标信息和关联性,构建场景中所有目标的知识图谱,其中,“顶点”用于表示目标的类别信息、状态信息和坐标信息,“边”用于表示不同的“顶点”之间的关系。

    16、进一步地,上述场景信息机器视觉理解方法,所述基于所述知识图谱构建图神经网络,具体包括:

    17、以所有“顶点”作为图神经网络的输入端,输入信息包括“顶点”包含的类别信息、状态信息和坐标信息;

    18、在前一层网络向后一层网络传递时,“顶点”之间的连接方式与知识图谱的连接方式保持一致。

    19、按照本发明的第二个方面,还提供了一种场景信息机器视觉理解装置,其包括:

    20、获取模块,其被配置为用于获取场景图像,所述场景图像包含所有目标的目标信息;

    21、分割模块,其被配置为用于对所述场景图像进行语义分割,对同类型目标进行分割,将每一类型的不同目标划分为多个独立个体;

    22、关联模块,其被配置为用于对每个场景目标进行识别,获取每个目标的类别信息、状态信息和坐标信息;获取目标之间的关联性,所述关联性包括物理关联性、空间关联性和类别关联性;

    23、构建模块,其被配置为用于基于目标的类别信息、坐标信息和关联性,构建场景中所有目标的知识图谱;

    24、生成模块,其被配置为用于基于所述知识图谱构建图神经网络,基于所述图神经网络生成场景图像状态描述。

    25、按照本发明的第三个方面,还提供了一种场景信息机器视觉理解设备,其包括至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述计算机程序被所述处理单元执行时,使得所述处理单元执行上述任一项所述方法的步骤。

    26、按照本发明的第四个方面,还提供了一种存储介质,其存储有可由场景信息机器视觉理解设备执行的计算机程序,当所述计算机程序在场景信息机器视觉理解设备上运行时,使得所述场景信息机器视觉理解设备执行上述任一项所述方法的步骤。

    27、总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:

    28、本发明提供的一种场景信息机器视觉理解方法,基于机器视觉技术和知识图谱技术,通过对场景图像进行精确分割、识别,能对场景进行精确描述,进一步检测图像多目标中的管理信息,可以为视觉监控系统提供更为细致的监控场景信息理解处理结果,大幅提高人员查阅监控结果的效率。



    技术特征:

    1.一种场景信息机器视觉理解方法,其特征在于,包括:

    2.如权利要求1所述的场景信息机器视觉理解方法,其特征在于,对所述场景图像进行语义分割,具体包括:

    3.如权利要求1所述的场景信息机器视觉理解方法,其特征在于,所述对每个场景目标进行识别,获取每个目标的类别信息、状态信息和坐标信息,具体包括:

    4.如权利要求1所述的场景信息机器视觉理解方法,其特征在于,所述基于目标的类别信息、坐标信息和关联性,构建场景中所有目标的知识图谱,其中,“顶点”用于表示目标的类别信息、状态信息和坐标信息,“边”用于表示不同的“顶点”之间的关系。

    5.如权利要求4所述的场景信息机器视觉理解方法,其特征在于,所述基于所述知识图谱构建图神经网络,具体包括:

    6.一种场景信息机器视觉理解装置,其特征在于,包括:

    7.一种场景信息机器视觉理解设备,其特征在于,包括至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述计算机程序被所述处理单元执行时,使得所述处理单元执行权利要求1~5任一项所述方法的步骤。

    8.一种存储介质,其特征在于,其存储有可由场景信息机器视觉理解设备执行的计算机程序,当所述计算机程序在场景信息机器视觉理解设备上运行时,使得所述场景信息机器视觉理解设备执行权利要求1~5任一项所述方法的步骤。


    技术总结
    本申请公开了一种场景信息机器视觉理解方法,该方法包括:获取场景图像,场景图像包含所有目标的目标信息;对场景图像进行语义分割,对同类型目标进行分割,将每一类型的不同目标划分为多个独立个体;对每个场景目标进行识别,获取每个目标的类别信息、状态信息和坐标信息;获取目标之间的关联性;基于目标的类别信息、坐标信息和关联性,构建场景中所有目标的知识图谱;基于知识图谱构建图神经网络,生成场景图像状态描述。本发明还公开了一种场景信息机器视觉理解装置、相应的设备及存储介质。本发明提供的一种场景信息机器视觉理解方法,可以为视觉监控系统提供更为细致的监控场景信息理解处理结果,提高人员查阅监控结果的效率。

    技术研发人员:冯毅,陶模,柯志武,王晨阳,郭晓杰,郑伟,孙衢骎,周天成,何涛,王瑞奇
    受保护的技术使用者:中国船舶集团有限公司第七一九研究所
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-24216.html

    最新回复(0)