本技术属于数据处理,尤其涉及一种日志检测的方法、装置、设备、存储介质及程序产品。
背景技术:
1、软件分发网络(content delivery network,cdn)中的中心节点可以获取每个用户的日志数据,日志数据中包括不同的监控指标。例如,监控指标包括卡顿次数、卡顿率和播放时长等。
2、中心节点通过计算具备相关性的监控指标之间的皮尔逊相关系数,对皮尔逊相关系数小于阈值的时刻进行告警。
3、由于皮尔逊相关系数对数值的变化较为敏感,导致皮尔逊相关系数的波动范围较大,因此,基于皮尔逊相关系数得到的异常检测结果的准确性较差。
技术实现思路
1、本技术实施例提供一种日志检测的方法、装置、设备及计算机存储介质,能够提高检测结果的准确性
2、第一方面,本技术实施例提供一种日志检测的方法,包括:
3、从电视业务日志数据中获取至少两个检测指标的数据;
4、针对目标检测指标,按照预设步长对所述目标检测指标的数据进行截取,得到多个数据集合,其中所述目标检测指标是所述至少两个检测指标中的任一检测指标;
5、针对所述多个数据集合中每个目标数据集合,计算自协方差矩阵,得到每个目标数据集合的第一自协方差矩阵,所述第一自协方差矩阵用于表征所述目标数据集合数据之间的关联关系,其中目标数据集合是所述多个数据集合中的任一数据集合;
6、分别利用所述第一自协方差矩阵的特征值、特征向量和第二自协方差矩阵的特征值、特征向量,计算所述目标数据集合的局部相关分数,所述第二自协方差矩阵是所述至少两个检测指标中除所述目标检测指标之外的检测指标中与所述目标数据集合对应的关联数据集合的自协方差矩阵,所述局部相关分数用于表示所述关联数据集合和所述目标数据集合中数据的关联程度;
7、将检测阈值与多个局部相关分数进行对比,得到检测结果,所述检测阈值是利用所述至少两个检测指标的历史数据的多个局部相关分数训练得到的。
8、在一种可能的实现方式中,在所述将检测阈值与多个局部相关分数进行对比,得到检测结果之前,所述方法还包括:
9、从电视业务历史日志数据中获取所述至少两个检测指标的历史数据;
10、针对所述目标检测指标,按照所述预设步长对所述目标检测指标的历史数据进行截取,得到多个历史数据集合;
11、针对所述多个历史数据集合中的每个历史数据集合,计算自协方差矩阵,得到每个历史数据集合的第三自协方差矩阵;
12、分别利用所述第三自协方差矩阵的特征值、特征向量和第四自协方差矩阵的特征值、特征向量,计算所述历史数据集合的局部相关分数,所述第四自协方差矩阵是所述至少两个检测指标中除所述目标检测指标之外的其他检测指标中与该历史数据集合对应的关联数据集合的自协方差矩阵,所述历史数据集合对应的局部相关分数用于表示所述历史数据集合对应的关联数据集合和所述历史数据集合中数据的关联程度;
13、对多个历史数据集合的局部相关分数进行聚类处理,得到所述检测阈值。
14、在一种可能的实现方式中,所述针对所述多个数据集合中每个目标数据集合,计算自协方差矩阵,得到每个目标数据集合的第一自协方差矩阵,包括:
15、对所述多个数据集合中每个目标数据集合,利用预设衰减因子分别计算所述多个数据集合中每个目标数据集合的自协方差矩阵,得到每个目标数据集合的第一协方差矩阵。
16、在一种可能的实现方式中,所述利用预设衰减因子分别计算所述多个数据集合中每个目标数据集合的自协方差矩阵,包括:
17、按照如下公式计算自协方差矩阵:
18、
19、其中,α是所述预设衰减因子,xσ,w表示所述目标检测指标的数据,w为所述预设步长,表示外积运算。
20、在一种可能的实现方式中,在所述分别利用所述第一自协方差矩阵的特征值、特征向量和第二自协方差矩阵的特征值、特征向量,计算所述目标数据集合对应的局部相关分数之前,所述方法还包括:
21、分别对所述第一自协方差矩阵和所述第二自协方差矩阵进行奇异值分解处理,得到所述第一自协方差矩阵的特征值、特征向量以及所述第二自协方差矩阵的特征值、特征向量;
22、所述分别利用所述第一自协方差矩阵的特征值、特征向量和第二自协方差矩阵的特征值、特征向量,计算所述目标数据集合对应的局部相关分数,包括:
23、针对每个自协方差矩阵的特征向量,按照预设比例获取特征向量中对应特征值大的预设比例数量个特征向量,构建特征向量矩阵;
24、根据所述第一自协方差矩阵的最大特征值、特征向量矩阵和所述第二自协方差矩阵的最大特征值、特征向量矩阵,计算得到所述目标数据集合的局部相关分数。
25、在一种可能的实现方式中,所述根据所述第一自协方差矩阵的最大特征值、特征向量矩阵和所述第二自协方差矩阵的最大特征值、特征向量矩阵,计算得到所述目标数据集合的局部相关分数,包括:
26、按照如下公式计算得到所述目标数据集合的局部相关分数:
27、
28、其中,表示变量x的特征向量矩阵的转置矩阵,表示变量y的特征向量矩阵的转置矩阵,所述变量x和所述变量y为所述检测指标的数据,uy表示所述变量y对应的最大特征值,ux表示所述变量x对应的最大特征值。
29、第二方面,本技术实施例提供一种日志检测的装置,包括:
30、获取模块,用于从电视业务日志数据中获取至少两个检测指标的数据;
31、截取模块,用于针对目标检测指标,按照预设步长对所述目标检测指标的数据进行截取,得到多个数据集合,其中所述目标检测指标是所述至少两个检测指标中的任一检测指标;
32、自协方差矩阵计算模块,用于针对所述多个数据集合中每个目标数据集合,计算自协方差矩阵,得到每个目标数据集合的第一自协方差矩阵,所述第一自协方差矩阵用于表征所述目标数据集合数据之间的关联关系,其中目标数据集合是所述多个数据集合中的任一数据集合;
33、局部相关分数计算模块,用于分别利用所述第一自协方差矩阵的特征值、特征向量和第二自协方差矩阵的特征值、特征向量,计算所述目标数据集合的局部相关分数,所述第二自协方差矩阵是所述至少两个检测指标中除所述目标检测指标之外的检测指标中与所述目标数据集合对应的关联数据集合的自协方差矩阵,所述局部相关分数用于表示所述关联数据集合和所述目标数据集合中数据的关联程度;
34、检测模块,用于将检测阈值与多个局部相关分数进行对比,得到检测结果,所述检测阈值是利用所述至少两个检测指标的历史数据的多个局部相关分数训练得到的。
35、第三方面,本技术实施例提供一种电子设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;
36、所述处理器执行所述计算机程序指令时实现如第一方面任意一项所述的方法。
37、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如第一方面任意一项所述的方法。
38、第五方面,本技术实施例提供一种计算机程序产品,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如第一方面任意一项所述的方法。
39、本技术实施例的一种日志检测方法、装置、设备及计算机存储介质,从电视业务日志数据中获取至少两个检测指标的数据后,按照预设步长对目标检测指标的数据进行截取,得到多个数据集合。然后计算多个数据集合中每个目标数据集合的自协方差矩阵,自协方差矩阵可以反应目标数据集合中各数据之间的关联关系。然后利用第一自协方差矩阵的特征值和特征向量和第二自协方差矩阵的特征值和特征向量计算得到目标数据集合的局部相关分数。在自协方差矩阵的基础上得到的局部相关分数可以较为准确的反应两个数据集中之间的关联程度和关联关系。然后利用检测阈值对多个局部相关分数进行对比,得到检测结果,由于检测阈值时利用检测指标的历史数据的局部相关分数训练得到的,因此,该检测阈值可以用于对检测指标的数据的检测。如此,在局部相关分数能准确反应两个数据集的关联关系和关联程度的基础上,得到的检测结果具有更高的准确性。
1.一种日志检测的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,在所述将检测阈值与多个局部相关分数进行对比,得到检测结果之前,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述针对所述多个数据集合中每个目标数据集合,计算自协方差矩阵,得到每个目标数据集合的第一自协方差矩阵,包括:
4.根据权利要求3所述的方法,其特征在于,所述利用预设衰减因子分别计算所述多个数据集合中每个目标数据集合的自协方差矩阵,包括:
5.根据权利要求1所述的方法,其特征在于,
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一自协方差矩阵的最大特征值、特征向量矩阵和所述第二自协方差矩阵的最大特征值、特征向量矩阵,计算得到所述目标数据集合的局部相关分数,包括:
7.一种日志检测的装置,其特征在于,包括:
8.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-6任意一项所述的方法。