一种针对物联网平台的自动异常检测方法及系统与流程

    技术2024-12-03  13


    本发明涉及数据处理,特别涉及一种针对物联网平台的自动异常检测方法及系统。


    背景技术:

    1、物联网平台中的自动异常检测框架分为持久化模块、任务管理模块、算法模块,开发人员可针对不同的业务场景选择不同的检测策略、算法、完善的异常处理机制。

    2、目前,轻量级的自动异常检测作业框架比较少见,原因在于自动异常检测模块在检测策略、算法、完善的异常处理机制等方面具有非常大的差别。


    技术实现思路

    1、本发明提供一种针对物联网平台的自动异常检测方法及系统,能够实现轻量化的异常检测过程。

    2、鉴于此,本发明一方面提供一种针对物联网平台的自动异常检测方法,所述方法包括:

    3、获取物联网平台的平台数据,并将所述平台数据映射为统一坐标空间中的数据点;

    4、对映射得到的数据点进行聚类,并根据聚类结果,确定所述数据点中的异常数据点;

    5、将所述异常数据点还原为目标平台数据,并对还原得到的所述目标平台数据进行持久化存储;

    6、按照预设周期,对持久化存储的目标平台数据进行统计,以检测所述物联网平台中的异常节点。

    7、在一个实施方式中,将所述平台数据映射为统一坐标空间中的数据点包括:

    8、针对所述物联网平台中的任一物联网节点,获取所述物联网节点在指定时段内的平台数据,并将所述平台数据按照采集时刻构建成数据序列;

    9、对所述数据序列进行向量化,以生成所述物联网节点的数据向量,并将所述数据向量映射至向量空间中。

    10、在一个实施方式中,对映射得到的数据点进行聚类包括:

    11、按照所述物联网平台中物联网节点的层级关系,对映射得到的数据点进行层级划分;

    12、针对任一层级中的数据点,进行横向数据聚类,以生成各个层级聚类簇;

    13、针对任意相邻层级中的数据点,进行纵向数据聚类,以生成各个纵向聚类簇。

    14、在一个实施方式中,根据聚类结果,确定所述数据点中的异常数据点包括:

    15、识别各个层级中位于层级聚类簇之外的离散数据点;

    16、针对任一离散数据点,判断所述离散数据点是否位于纵向聚类簇中,若不位于纵向聚类簇中,将所述离散数据点判定为异常数据点;

    17、若所述离散数据点位于纵向聚类簇中,识别所述纵向聚类簇的簇心所在的目标层级;若所述目标层级位于所述离散数据点所在的层级的上层,将所述离散数据点判定为异常数据点。

    18、在一个实施方式中,对还原得到的所述目标平台数据进行持久化存储包括:

    19、生成所述目标平台数据的元数据信息,并将所述元数据信息写入第一数据库中,以及将所述目标平台数据写入第二数据库中;

    20、其中,若接收到针对所述目标平台数据的删除指令,从所述第一数据库中删除所述元数据信息,并在指定时段内,在所述第二数据库中保留所述目标平台数据;在指定时段的时长过后,从所述第二数据库中删除所述目标平台数据。

    21、本发明还提供一种针对物联网平台的自动异常检测系统,所述系统包括:

    22、数据映射单元,用于获取物联网平台的平台数据,并将所述平台数据映射为统一坐标空间中的数据点;

    23、异常数据点确定单元,用于对映射得到的数据点进行聚类,并根据聚类结果,确定所述数据点中的异常数据点;

    24、持久化存储单元,用于将所述异常数据点还原为目标平台数据,并对还原得到的所述目标平台数据进行持久化存储;

    25、异常检测单元,用于按照预设周期,对持久化存储的目标平台数据进行统计,以检测所述物联网平台中的异常节点。

    26、在一个实施方式中,所述数据映射单元具体用于,针对所述物联网平台中的任一物联网节点,获取所述物联网节点在指定时段内的平台数据,并将所述平台数据按照采集时刻构建成数据序列;对所述数据序列进行向量化,以生成所述物联网节点的数据向量,并将所述数据向量映射至向量空间中。

    27、在一个实施方式中,所述异常数据点确定单元,具体用于按照所述物联网平台中物联网节点的层级关系,对映射得到的数据点进行层级划分;针对任一层级中的数据点,进行横向数据聚类,以生成各个层级聚类簇;针对任意相邻层级中的数据点,进行纵向数据聚类,以生成各个纵向聚类簇。

    28、在一个实施方式中,所述异常数据点确定单元,具体还用于,识别各个层级中位于层级聚类簇之外的离散数据点;针对任一离散数据点,判断所述离散数据点是否位于纵向聚类簇中,若不位于纵向聚类簇中,将所述离散数据点判定为异常数据点;若所述离散数据点位于纵向聚类簇中,识别所述纵向聚类簇的簇心所在的目标层级;若所述目标层级位于所述离散数据点所在的层级的上层,将所述离散数据点判定为异常数据点。

    29、在一个实施方式中,所述持久化存储单元具体用于,生成所述目标平台数据的元数据信息,并将所述元数据信息写入第一数据库中,以及将所述目标平台数据写入第二数据库中;其中,若接收到针对所述目标平台数据的删除指令,从所述第一数据库中删除所述元数据信息,并在指定时段内,在所述第二数据库中保留所述目标平台数据;在指定时段的时长过后,从所述第二数据库中删除所述目标平台数据。

    30、本发明提供的技术方案,在获取到物联网平台的平台数据后,可以不用细分平台数据的具体类型,而是可以将平台数据映射到统一坐标空间中的数据点。后续再对这些数据点进行分析时,也可以不用关注具体的检测算法,而是采用聚类的方式,从大数据的维度,识别出异常数据点。这些异常数据点对应的平台数据可以被持久化存储,后续再进行统计分析时,依然可以基于大数据的维度,检测出平台中的异常节点。可见,本申请提供的技术方案,并没有部署复杂的框架,而是从数据处理的层面,对平台数据进行统计分析,从而检测出平台中的异常节点,实现了轻量化的检测过程。

    31、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

    32、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。



    技术特征:

    1.一种针对物联网平台的自动异常检测方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,将所述平台数据映射为统一坐标空间中的数据点包括:

    3.根据权利要求1所述的方法,其特征在于,对映射得到的数据点进行聚类包括:

    4.根据权利要求3所述的方法,其特征在于,根据聚类结果,确定所述数据点中的异常数据点包括:

    5.根据权利要求1所述的方法,其特征在于,对还原得到的所述目标平台数据进行持久化存储包括:

    6.根据权利要求5所述的方法,其特征在于,所述在指定时段的时长过后,从所述第二数据库中删除所述目标平台数据,包括在达到指定时段的时长时,执行如下步骤一至三:

    7.一种针对物联网平台的自动异常检测系统,其特征在于,所述系统包括:

    8.根据权利要求7所述的系统,其特征在于,所述数据映射单元具体用于,针对所述物联网平台中的任一物联网节点,获取所述物联网节点在指定时段内的平台数据,并将所述平台数据按照采集时刻构建成数据序列;对所述数据序列进行向量化,以生成所述物联网节点的数据向量,并将所述数据向量映射至向量空间中。

    9.根据权利要求7所述的系统,其特征在于,所述异常数据点确定单元,具体用于按照所述物联网平台中物联网节点的层级关系,对映射得到的数据点进行层级划分;针对任一层级中的数据点,进行横向数据聚类,以生成各个层级聚类簇;针对任意相邻层级中的数据点,进行纵向数据聚类,以生成各个纵向聚类簇。

    10.根据权利要求7所述的系统,其特征在于,所述持久化存储单元具体用于,生成所述目标平台数据的元数据信息,并将所述元数据信息写入第一数据库中,以及将所述目标平台数据写入第二数据库中;其中,若接收到针对所述目标平台数据的删除指令,从所述第一数据库中删除所述元数据信息,并在指定时段内,在所述第二数据库中保留所述目标平台数据;在指定时段的时长过后,从所述第二数据库中删除所述目标平台数据。


    技术总结
    本发明提供了一种针对物联网平台的自动异常检测方法及系统,其中,所述方法包括:获取物联网平台的平台数据,并将所述平台数据映射为统一坐标空间中的数据点;对映射得到的数据点进行聚类,并根据聚类结果,确定所述数据点中的异常数据点;将所述异常数据点还原为目标平台数据,并对还原得到的所述目标平台数据进行持久化存储;按照预设周期,对持久化存储的目标平台数据进行统计,以检测所述物联网平台中的异常节点。本发明提供的技术方案,能够实现轻量化的异常检测过程。

    技术研发人员:余丹,兰雨晴,马海洋,邢智涣,王丹星
    受保护的技术使用者:慧之安信息技术股份有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-22996.html

    最新回复(0)