本发明涉及数据处理,特别涉及一种针对物联网平台的自动异常检测方法及系统。
背景技术:
1、物联网平台中的自动异常检测框架分为持久化模块、任务管理模块、算法模块,开发人员可针对不同的业务场景选择不同的检测策略、算法、完善的异常处理机制。
2、目前,轻量级的自动异常检测作业框架比较少见,原因在于自动异常检测模块在检测策略、算法、完善的异常处理机制等方面具有非常大的差别。
技术实现思路
1、本发明提供一种针对物联网平台的自动异常检测方法及系统,能够实现轻量化的异常检测过程。
2、鉴于此,本发明一方面提供一种针对物联网平台的自动异常检测方法,所述方法包括:
3、获取物联网平台的平台数据,并将所述平台数据映射为统一坐标空间中的数据点;
4、对映射得到的数据点进行聚类,并根据聚类结果,确定所述数据点中的异常数据点;
5、将所述异常数据点还原为目标平台数据,并对还原得到的所述目标平台数据进行持久化存储;
6、按照预设周期,对持久化存储的目标平台数据进行统计,以检测所述物联网平台中的异常节点。
7、在一个实施方式中,将所述平台数据映射为统一坐标空间中的数据点包括:
8、针对所述物联网平台中的任一物联网节点,获取所述物联网节点在指定时段内的平台数据,并将所述平台数据按照采集时刻构建成数据序列;
9、对所述数据序列进行向量化,以生成所述物联网节点的数据向量,并将所述数据向量映射至向量空间中。
10、在一个实施方式中,对映射得到的数据点进行聚类包括:
11、按照所述物联网平台中物联网节点的层级关系,对映射得到的数据点进行层级划分;
12、针对任一层级中的数据点,进行横向数据聚类,以生成各个层级聚类簇;
13、针对任意相邻层级中的数据点,进行纵向数据聚类,以生成各个纵向聚类簇。
14、在一个实施方式中,根据聚类结果,确定所述数据点中的异常数据点包括:
15、识别各个层级中位于层级聚类簇之外的离散数据点;
16、针对任一离散数据点,判断所述离散数据点是否位于纵向聚类簇中,若不位于纵向聚类簇中,将所述离散数据点判定为异常数据点;
17、若所述离散数据点位于纵向聚类簇中,识别所述纵向聚类簇的簇心所在的目标层级;若所述目标层级位于所述离散数据点所在的层级的上层,将所述离散数据点判定为异常数据点。
18、在一个实施方式中,对还原得到的所述目标平台数据进行持久化存储包括:
19、生成所述目标平台数据的元数据信息,并将所述元数据信息写入第一数据库中,以及将所述目标平台数据写入第二数据库中;
20、其中,若接收到针对所述目标平台数据的删除指令,从所述第一数据库中删除所述元数据信息,并在指定时段内,在所述第二数据库中保留所述目标平台数据;在指定时段的时长过后,从所述第二数据库中删除所述目标平台数据。
21、本发明还提供一种针对物联网平台的自动异常检测系统,所述系统包括:
22、数据映射单元,用于获取物联网平台的平台数据,并将所述平台数据映射为统一坐标空间中的数据点;
23、异常数据点确定单元,用于对映射得到的数据点进行聚类,并根据聚类结果,确定所述数据点中的异常数据点;
24、持久化存储单元,用于将所述异常数据点还原为目标平台数据,并对还原得到的所述目标平台数据进行持久化存储;
25、异常检测单元,用于按照预设周期,对持久化存储的目标平台数据进行统计,以检测所述物联网平台中的异常节点。
26、在一个实施方式中,所述数据映射单元具体用于,针对所述物联网平台中的任一物联网节点,获取所述物联网节点在指定时段内的平台数据,并将所述平台数据按照采集时刻构建成数据序列;对所述数据序列进行向量化,以生成所述物联网节点的数据向量,并将所述数据向量映射至向量空间中。
27、在一个实施方式中,所述异常数据点确定单元,具体用于按照所述物联网平台中物联网节点的层级关系,对映射得到的数据点进行层级划分;针对任一层级中的数据点,进行横向数据聚类,以生成各个层级聚类簇;针对任意相邻层级中的数据点,进行纵向数据聚类,以生成各个纵向聚类簇。
28、在一个实施方式中,所述异常数据点确定单元,具体还用于,识别各个层级中位于层级聚类簇之外的离散数据点;针对任一离散数据点,判断所述离散数据点是否位于纵向聚类簇中,若不位于纵向聚类簇中,将所述离散数据点判定为异常数据点;若所述离散数据点位于纵向聚类簇中,识别所述纵向聚类簇的簇心所在的目标层级;若所述目标层级位于所述离散数据点所在的层级的上层,将所述离散数据点判定为异常数据点。
29、在一个实施方式中,所述持久化存储单元具体用于,生成所述目标平台数据的元数据信息,并将所述元数据信息写入第一数据库中,以及将所述目标平台数据写入第二数据库中;其中,若接收到针对所述目标平台数据的删除指令,从所述第一数据库中删除所述元数据信息,并在指定时段内,在所述第二数据库中保留所述目标平台数据;在指定时段的时长过后,从所述第二数据库中删除所述目标平台数据。
30、本发明提供的技术方案,在获取到物联网平台的平台数据后,可以不用细分平台数据的具体类型,而是可以将平台数据映射到统一坐标空间中的数据点。后续再对这些数据点进行分析时,也可以不用关注具体的检测算法,而是采用聚类的方式,从大数据的维度,识别出异常数据点。这些异常数据点对应的平台数据可以被持久化存储,后续再进行统计分析时,依然可以基于大数据的维度,检测出平台中的异常节点。可见,本申请提供的技术方案,并没有部署复杂的框架,而是从数据处理的层面,对平台数据进行统计分析,从而检测出平台中的异常节点,实现了轻量化的检测过程。
31、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
32、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
1.一种针对物联网平台的自动异常检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,将所述平台数据映射为统一坐标空间中的数据点包括:
3.根据权利要求1所述的方法,其特征在于,对映射得到的数据点进行聚类包括:
4.根据权利要求3所述的方法,其特征在于,根据聚类结果,确定所述数据点中的异常数据点包括:
5.根据权利要求1所述的方法,其特征在于,对还原得到的所述目标平台数据进行持久化存储包括:
6.根据权利要求5所述的方法,其特征在于,所述在指定时段的时长过后,从所述第二数据库中删除所述目标平台数据,包括在达到指定时段的时长时,执行如下步骤一至三:
7.一种针对物联网平台的自动异常检测系统,其特征在于,所述系统包括:
8.根据权利要求7所述的系统,其特征在于,所述数据映射单元具体用于,针对所述物联网平台中的任一物联网节点,获取所述物联网节点在指定时段内的平台数据,并将所述平台数据按照采集时刻构建成数据序列;对所述数据序列进行向量化,以生成所述物联网节点的数据向量,并将所述数据向量映射至向量空间中。
9.根据权利要求7所述的系统,其特征在于,所述异常数据点确定单元,具体用于按照所述物联网平台中物联网节点的层级关系,对映射得到的数据点进行层级划分;针对任一层级中的数据点,进行横向数据聚类,以生成各个层级聚类簇;针对任意相邻层级中的数据点,进行纵向数据聚类,以生成各个纵向聚类簇。
10.根据权利要求7所述的系统,其特征在于,所述持久化存储单元具体用于,生成所述目标平台数据的元数据信息,并将所述元数据信息写入第一数据库中,以及将所述目标平台数据写入第二数据库中;其中,若接收到针对所述目标平台数据的删除指令,从所述第一数据库中删除所述元数据信息,并在指定时段内,在所述第二数据库中保留所述目标平台数据;在指定时段的时长过后,从所述第二数据库中删除所述目标平台数据。