本发明涉及通信,具体地说,涉及一种nfv网络性能劣化的预警方法、装置、介质及产品。
背景技术:
1、移动通信网络中,nfv(network functions virtualization,网络功能虚拟化)技术在硬件层将物理服务器、存储和网络设备等抽象成虚拟资源,在虚拟化层利用虚拟机管理器等组件协调虚拟机的创建、调度和销毁,在虚拟网络功能层提供虚拟的amf、mme、pcf、pcrf、udm、ausf、hss、upf、gw-u、smf、gw-c、nef、nrf、nssf等各种网络功能。
2、在nfv技术为网络提供更高的灵活性和可扩展性的同时,随着虚拟化网元类型与数量的增多,各层网络资源的性能监控也面临着巨大挑战。nfv网络中的性能监测,除了包含传统it系统性能监测场景中的cpu利用率、内存利用率、磁盘利用率等pm指标,还包含与各类虚拟化网元的业务功能相关的各项性能指标,如吞吐量、延迟、丢包率、每种信令流程的成功率。
3、现有技术基于预设的预警门限,通常仅在性能劣化发生后、或者至少是在严重性能劣化发生前有轻微性能劣化症状时才能产生监测预警,对于突发的严重跳变式的网络性能问题,无法提前预警。
技术实现思路
1、与现有技术相比,本发明提出一种nfv网络性能劣化的预警方法、装置、介质及产品,能够先于指标劣化进行预警,提高预警准确率。
2、本发明实施例提供一种nfv网络性能劣化的预警方法,所述方法包括:
3、对nfv网络中待监测网元的性能数据与日志数据进行采集,得到分日志模板的日志量统计数据;
4、根据增量日志模板监测配置表以及切片日志数量监测配置表中的全部日志模板清单对所述日志量统计数据进行提取,得到日志统计数据;其中,所述增量日志模板监测配置表由预设的劣化门限规则对历史日志数据统计得到,所述切片日志数量监测配置表由预设的监测规则对所述历史日志数据统计得到;
5、根据所述增量日志模板监测配置表以及预设的第一匹配规则,确定第一匹配模板集合;
6、根据所述第一匹配模板集合对所述日志统计数据进行模板匹配,并根据匹配到的模板在所述增量日志模板监测配置表中的指标生成劣化预警信息。
7、优选地,所述方法还包括:
8、根据所述切片日志数量监测配置表以及预设的第二匹配规则,确定第二匹配模板集合;
9、根据所述第二匹配模板集合对所述日志统计数据进行模板匹配,并根据匹配到的模板在所述切片日志数量监测配置表中的指标生成劣化预警信息。
10、优选地,对nfv网络中待监测网元的性能数据与日志数据进行采集,得到分日志模板的日志量统计数据,包括:
11、根据预先配置的待分析性能指标清单的信息,分别以不同的连续周期性采集并存储pm数据;
12、基于待分析性能指标清单中的网元类型和网元名称信息,连续接入各网元的全部日志数据;
13、根据预设的日志模板提取算法对全部日志数据中每组日志正文进行模板提取得到日志模板,得到日志关模板清单;
14、根据所述日志关模板清单,按照预设的日志监测时间窗粒度,在每个单位时间窗切片内,进行日志量分组统计,将统计结果存入数据仓库,得到分日志模板的日志量统计数据。
15、优选地,所述根据预设的日志模板提取算法对全部日志数据中每组日志正文进行模板提取得到日志模板,得到日志关模板清单,包括:
16、根据不同的网元类型和日志类型对采集到的日志数据进行日志分组,对每组内的全量日志数据,引入所述日志模板提取算法对每组日志正文进行模板提取得到日志模板,得到日志关模板清单;
17、所述日志模板包括网元类型、网元名称、日志类型、日志模板id、日志正文模板表达式。
18、优选地,所述增量日志模板监测配置表的统计过程包括:
19、根据所述劣化门限规则检测所述历史日志数据中按照预设监测时间粒度划分的每个时间切片是否劣化,记录每一劣化的指标异常区间;所述历史日志数据为根据预设的劣化识别时长持续采集的历史数据;
20、对每一指标异常区间提取其前预设的时长的日志统计数据;
21、对提取的每一日志统计数据按照指标名称分组作为增量数据写入到pm指标劣化事件样本库中;
22、列出所述劣化识别时长的时间段内出现的全部日志模板,统计每个日志模板在预设的日志监测时间窗粒度内监测日志量的最小值和最大值,得到该时间段内以模板id为索引的增量pm基线样本区间日志模板统计表;
23、对每个日志监测时间窗粒度内得到的增量pm基线样本区间日志模板统计表进行累计,得到累计pm基线样本区间日志模板统计表,并将更新后的累计pm基线样本区间日志模板统计表中的全部索引模板id设置为pm基线样本区间模板集合;
24、根据预设的日志量监测规则标注信息设置日志量监测规则;
25、对每一劣化的指标异常区间的日志监测时间窗粒度的区间内提取该区间内出现的模板集合;
26、计算每一区间的模板集合与上一日志监测时间窗粒度的区间提取的模板集合的部集;
27、计算得到的补集与所述pm基线样本区间模板集合的补集;
28、将得到的集合中的模板清单及切片日志量信息作为第一输出结果数据,将集合的模板清单中每个模板在以上指标异常区间内首次出现的日志监测时间窗粒度区间的时间段信息作为第二输出结果数据;
29、当第一输出结果数据中存在1条以上日志模板时,规则类别设置为增量日志模板监测规则;
30、统计每个模板在多次事件中出现的次数,并依次按出现次数降序对清单中各模板的平均切片日志量升序排列;
31、删除清单中被所述日志量监测规则中标注有效状态置为否的模板,由清单的先后顺序选择所述日志量监测规则中单指标自动配置监测增量模板上限数量的模板,得到所述增量日志模板监测配置表。
32、进一步地,在得到所述增量日志模板监测配置表后,所述方法还包括:
33、更新所述增量日志模板监测配置表中标注有效状态为是或否的模板的出现次数和平均切片日志量;
34、重新统计增量日志模板监测配置表,并将增量日志模板监测配置表的统计设置为非活动状态。
35、优选地,所述切片日志数量监测配置表的统计过程包括:
36、当第一输出结果数据中模板数量为空时,统计的所述切片日志数量监测配置表为空;
37、当第一输出结果数据中存在1条以上日志模板时,记录第二输出结果数据中每个事件中的异常模板清单;
38、统计每个模板在多次事件中出现的次数,并依次按出现次数降序对清单中各模板的平均切片日志量升序排列;
39、删除清单中被所述日志量监测规则中标注有效状态置为否的模板,由清单的先后顺序选择所述日志量监测规则中单指标自动配置监测增量模板上限数量的模板,得到所述切片日志数量监测配置表。
40、进一步地,在得到所述切片日志数量监测配置表后,所述方法还包括:
41、更新所述切片日志量监测配置表中标注有效状态为是或否的模板的累计异常次数和平均切片日志量异常百分比信息,对标注有效状态为未标注的项自动更新预警门限上限以及预警门限下限参数;
42、将所述日志量监测规则中是否联合增量模板规则设置为是,继续重新统计切片日志数量监测配置表。
43、优选地,根据所述增量日志模板监测配置表中配置的匹配规则,确定第一匹配模板集合,具体包括:
44、在pm指标预警类别为设置的增量日志模板监测规则的全部规则中,选择监测预警规则配置为启用状态的规则;
45、取所得每项规则在所述增量日志模板监测配置表中排序规则中单指标自动配置监测增量模板上限数量的切片日志模板的并集,作为所述第一匹配模板集合。
46、优选地,根据所述切片日志数量监测配置表中配置的匹配规则,确定第二匹配模板集合,具体包括:
47、在pm指标预警类别为设置的日志量监测规则的全部规则中,选择监测预警规则配置为启用状态的规则;
48、取所得每项规则在所述切片日志数量监测配置表中排序规则中单指标自动配置监测增量模板上限数量的切片日志模板的并集,作为所述第二匹配模板集合。
49、优选地,所述方法还包括:
50、以预设的pm指标提前预警周期作为预警时限,对采集的pm指标进行监测;
51、当在预警时限内识别到生成的劣化预警信息时,累计记录成功预警次数;
52、当在预警时限内未识别到生成的劣化预警信息时,累计记录预警错误次数;
53、在预警时限结束时将预警信息置为非活动状态。
54、优选地,所述根据所述第二匹配模板集合对所述日志统计数据进行模板匹配,并根据匹配到的模板在所述切片日志数量监测配置表中的指标生成劣化预警信息,包括:
55、根据所述第二匹配模板集合对所述日志统计数据进行日志量异常识别;
56、当识别出异常时,列出异常的模板在全部配置表中所属的全部联合增量模板规则配置项为否/是,且条件为or的pm指标,生成性能劣化预警信息;
57、对其中配置项为是且条件为and的pm指标,取该指标的规则在所述增量日志模板监测配置表中排序规则中前m项切片日志模板,与所述日志统计数据进行模板匹配,并根据匹配到的模板在所述增量日志模板监测配置表中的指标生成劣化预警信息;
58、对其中是否联合增量模板规则的配置项为是,且条件为or的pm指标,取该指标的规则在所述增量日志模板监测配置表中排序规则中前m项切片日志模板,与所述日志统计数据进行模板匹配,并根据匹配到的模板在所述增量日志模板监测配置表中的指标生成劣化预警信息。
59、本发明实施例还提供一种nfv网络性能劣化的预警装置,所述装置包括:
60、数据采集模块,用于对nfv网络中待监测网元的性能数据与日志数据进行采集,得到分日志模板的日志量统计数据;
61、提取模块,用于根据增量日志模板监测配置表以及切片日志数量监测配置表中的全部日志模板清单对所述日志量统计数据进行提取,得到日志统计数据;其中,所述增量日志模板监测配置表由预设的劣化门限规则对历史日志数据统计得到,所述切片日志数量监测配置表由预设的监测规则对所述历史日志数据统计得到;
62、集合模块,用于根据所述增量日志模板监测配置表以及预设的第一匹配规则,确定第一匹配模板集合;
63、匹配模块,用于根据所述第一匹配模板集合对所述日志统计数据进行模板匹配,并根据匹配到的模板在所述增量日志模板监测配置表中的指标生成劣化预警信息。
64、本发明实施例还提供一种nfv网络性能劣化的预警装置,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一项实施例所述的一种nfv网络性能劣化的预警方法。
65、本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项实施例所述的一种nfv网络性能劣化的预警方法。
66、本发明实施例还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述任一项实施例所述的方法的步骤。
67、与现有技术相比,本发明提供一种nfv网络性能劣化的预警方法、装置、介质及产品,通过对nfv网络中待监测网元的性能数据与日志数据进行采集,得到分日志模板的日志量统计数据;根据增量日志模板监测配置表以及切片日志数量监测配置表中的全部日志模板清单对所述日志量统计数据进行提取,得到日志统计数据;其中,所述增量日志模板监测配置表由预设的劣化门限规则对历史日志数据统计得到,所述切片日志数量监测配置表由预设的监测规则对所述历史日志数据统计得到;根据所述增量日志模板监测配置表以及预设的第一匹配规则,确定第一匹配模板集合;根据所述第一匹配模板集合对所述日志统计数据进行模板匹配,并根据匹配到的模板在所述增量日志模板监测配置表中的指标生成劣化预警信息。本技术方案能够先于指标劣化进行预警,提高预警准确率。
1.一种nfv网络性能劣化的预警方法,其特征在于,所述方法包括:
2.根据权利要求1所述的nfv网络性能劣化的预警方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的nfv网络性能劣化的预警方法,其特征在于,对nfv网络中待监测网元的性能数据与日志数据进行采集,得到分日志模板的日志量统计数据,包括:
4.根据权利要求3所述的nfv网络性能劣化的预警方法,其特征在于,所述根据预设的日志模板提取算法对全部日志数据中每组日志正文进行模板提取得到日志模板,得到日志关模板清单,包括:
5.根据权利要求1所述的nfv网络性能劣化的预警方法,其特征在于,所述增量日志模板监测配置表的统计过程包括:
6.根据权利要求5所述的nfv网络性能劣化的预警方法,其特征在于,在得到所述增量日志模板监测配置表后,所述方法还包括:
7.根据权利要求5所述的nfv网络性能劣化的预警方法,其特征在于,所述切片日志数量监测配置表的统计过程包括:
8.根据权利要求7所述的nfv网络性能劣化的预警方法,其特征在于,在得到所述切片日志数量监测配置表后,所述方法还包括:
9.根据权利要求1所述的nfv网络性能劣化的预警方法,其特征在于,根据所述增量日志模板监测配置表中配置的匹配规则,确定第一匹配模板集合,具体包括:
10.根据权利要求2所述的nfv网络性能劣化的预警方法,其特征在于,根据所述切片日志数量监测配置表中配置的匹配规则,确定第二匹配模板集合,具体包括:
11.根据权利要求1所述的nfv网络性能劣化的预警方法,其特征在于,所述方法还包括:
12.根据权利要求2所述的nfv网络性能劣化的预警方法,其特征在于,所述根据所述第二匹配模板集合对所述日志统计数据进行模板匹配,并根据匹配到的模板在所述切片日志数量监测配置表中的指标生成劣化预警信息,包括:
13.一种nfv网络性能劣化的预警装置,其特征在于,所述装置包括:
14.一种nfv网络性能劣化的预警装置,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至12中任意一项所述的nfv网络性能劣化的预警方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至12中任意一项所述的nfv网络性能劣化的预警方法。
16.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1~12中任意一项所述方法的步骤。