本发明涉及cdn节点质量评估，是一种基于多维度实时拨测的cdn节点质量评估方法及系统。
背景技术：
1、cdn技术全称内容分发网络，旨在通过全局负载均衡技术，构建中心-边缘的内容承载网络，由分布在不同区域内的边缘节点服务器群组成的分布式网络。cdn网络架构分两部分，中心指cdn网管中心和dns重定向解析中心，负责全局负载均衡，边缘主要指异地节点，cdn分发的载体，主要由cache和负载均衡器等组成。
2、随着边缘节点的增多，如何及时感知节点服务质量，方便负载均衡系统进行资源调度和节点规划，是cdn调度过程中的一个难题。
3、通过实时拨测技术，周期性的在不同节点间进行数据探测访问，并收集相关的拨测数据，包括有状态码个数，文件下载速率，访问带宽等指标。利用这些数据计算评估节点的质量情况，从而提高资源的命中率和调度的有效率。
4、在现有已公开的发明技术中，如申请公开号为cn113872824a的专利公开了cdn网络质量检测方法、系统、服务器及存储介质，通过构建多个探测数据包，每个探测数据包中携带从cdn节点到目标自治系统as的多条bgp线路中一条bgp线路的线路标识；根据探测数据包中携带的线路标识，将探测数据包通过该线路标识对应的bgp线路从cdn节点发送至目标自治系统；基于发出的探测数据包对多条bgp线路分别进行测试，得到各bgp线路的网络质量参数，以实现对cdn节点到目标自治系统as之间的各条bgp线路的质量进行评估，从而为基于各bgp线路的网络质量进行的相关操作提供支持。
5、上述专利消耗大量的时间和资源，由于需要构建多个数据包，并在每个数据包上进行测试，这将消耗大量的时间和计算资源。尤其考虑到bgp线路的数量和延迟，可能需要相当长的时间才能完成整个评估过程。。
技术实现思路
1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
2、本发明所要解决的技术问题是针对现有技术中，在cdn调度过程中，随着边缘节点的增多，节点服务质量感知不及时，负载均衡系统进行资源调度和节点规划难的问题，提出了一种基于多维度实时拨测的cdn节点质量评估方法及系统。
3、为了达到上述目的，本发明一种基于多维度实时拨测的cdn节点质量评估方法的技术方案包括如下步骤：
4、s1：从consul拉取对应的探测机数据和原始节点数据；
5、s2：根据基础监控数据对节点和探测机的状态进行选择屏蔽，指定屏蔽时间内不会被选择作为探测机器和被探目标，待恢复正常后重新启用；
6、s3：进行探测机的节点选择，将节点按照城市进行分组，再进行业务分组，形成城市-业务组-节点三级分组信息；
7、s4：将拨测任务下发到探测机，由prometheus触发blackbox对目标节点进行探测，并进行数据存储处理；
8、s5：从prometheus拉取相关的探测数据，从省内节点、邻省节点、大区节点三个维度，对探测数据按照公式统一计算节点得分，并生成节点代替的topn序列，进行节点质量评估判断。
9、具体地，所述原始节点数据包括：基础机器数据和性能数据，其中原始节点数据注册在consul的service上，通过接口
10、/v1/catalog/service获取数据，基础机器数据和性能数据中探测指标为blackbox的http相关probe指标，获取标签为job＝file_test的数据。
11、具体地，s2中，所述根据基础监控数据对节点和探测机的状态进行选择屏蔽包括：从prometheus拉取基础监控数据，其中基础监控数据包括：节点是否启用、负载情况、节点机器是否故障和节点响应通用管理机的探测数据；并根据上述数据对探测机器和待探测目标进行去噪。
12、具体地，s3中，所述探测机的节点选择包括：节点分组、哈希环构建、节点挑选和节点数量缺失填充。
13、具体地，所述节点分组包括：将去噪过程筛选得到的节点数据按照城市-业务组-节点进行分组信息，其中，以城市为一级目录，城市-业务组为二级目录。
14、具体地，所述哈希环构建和节点选择包括如下具体步骤：
15、s301：根据分组的结果将某个省内包含的业务组注册到哈希环上，同时构建对应城市-业务组的ip数量统计cnt；
16、s302：构建探测列表ips，从环上获取一次节点，得到对应的业务组，并从中挑选ip1，加入探测列表ips[…,ip1]
17、s303：cnt中将对一个业务组的ip统计数量-1，判断组内ip数量是否为空，为空则从环上移除改业务组；
18、s304：循环s302，直到挑选满足n个节点的ips。
19、具体地，所述节点数量缺失填充包括：当节点的探测个数n为超参数，且部分西部省份的ip数量个数全选后还是达不到n个节点时，通过节点复选的形式进行填充，节点复选的规则为多次全选后，根据去噪策略中的性能数据排名进行填充。
20、具体地，所述质量分计算包括：从prometheus拉取目标节点的探测数据，按照省内、邻省、大区三个维度的数据进行分组，计算其中的中值和iqr值和节点健康值，并根据省内节点选择列表生成topn序列。
21、具体地，s5中，所述节点健康值的计算过程如下：
22、s501：挑选三个ip节点列表，对于ipa最后得到三个管理机列表包括：同省、大区、邻省)ips[ip1,ip2,ip3..ipn]，使用这些机器对ipa节点进行探测，得到一个探测响应时间列表；
23、s502：计算这组数据的25分位、75分位、中位值、均值；
24、s503：计算健康节点值，计算策略如下：
25、w＝si×sigmod(iqr)+(1-si)×sigmod(iqr)；
26、其中，i＝1时，s1＝0.8；i＝2时，s2＝0.6；i＝3时，s3＝0.5；i＝4时，s4＝0.2；
27、w为健康节点值；sigmod为激活函数；iqr为四分位点。
28、具体地，s5中，所述节点质量评估判断包括：
29、当中位数大于等于1s时，说明拨测状况非常差，一半以上的拨测时间为大于1s的场景，判断一半以上的节点在1s上；
30、当iqr≥1s时，说明25分位和75分位差距较大，可能情况为25％拨测延迟在[0.8,..)，25％拨测在(..,0.2]，即数据分布符合一个倒z型场景：该省份多个拨测过程，一半的拨测状态差，或者不通，此时目标节点的网络质量应该由iqr的偏离程度决定；
31、当0.05s≤iqr＜1s时，说明25分位和75分位差距中等，此时iqr权重为0.2，中位数权重为0.8；此时，由中位数决定整个拨测数据的分布；
32、当中位数小于1s或iqr＜0.05s时，判断iqr权重和median权重一样。
33、另外，本发明一种基于多维度实时拨测的cdn节点质量评估系统包括如下模块：
34、数据拉取模块、节点去噪模块、探测机选择模块、节点探测模块、节点质量分计算模块；
35、所述数据拉取模块从consul拉取对应的探测机数据和原始节点数据；
36、所述节点去噪模块根据基础监控数据对节点和探测机的状态进行选择屏蔽，指定屏蔽时间内不会被选择作为探测机器和被探目标，待恢复正常后重新启用；
37、所述探测机选择模块用于进行探测机的节点选择，将节点按照城市进行分组，再进行业务分组，形成城市-业务组-节点三级分组信息；
38、所述节点探测模块用于将拨测任务下发到探测机，由prometheus触发blackbox对目标节点进行探测，并进行数据存储处理；
39、所述节点质量分计算模块用于从prometheus拉取相关的探测数据，从省内节点、邻省节点、大区节点三个维度，对探测数据按照公式统一计算节点得分，并生成节点代替的topn序列，进行节点质量评估判断。
40、与现有技术相比，本发明的技术效果如下：
41、1、本发明通过根据城市-业务组对节点进行划分，构建哈希环从中合理挑选探测机节点，从省内、邻省、大区三个维度计算不同的健康值，最终设置相关参数计算节点的质量分，量化节点的状态和性能。
42、2、本发明使用不同边缘节点之间拨测模拟用户访问行为，通过预先制定的策略，聚合来自三个维度的实时拨测数据，综合评估节点的访问质量和效果，自动计算节点的真实服务状态，减少人工参与率。
1.一种基于多维度实时拨测的cdn节点质量评估方法，其特征在于：所述方法包括如下具体步骤：
2.根据权利要求1所述的一种基于多维度实时拨测的cdn节点质量评估方法，其特征在于，s2中，所述根据基础监控数据对节点和探测机的状态进行选择屏蔽包括：从prometheus拉取基础监控数据，其中基础监控数据包括：节点是否启用、负载情况、节点机器是否故障和节点响应通用管理机的探测数据；并根据上述数据对探测机器和待探测目标进行去噪。
3.根据权利要求1所述的一种基于多维度实时拨测的cdn节点质量评估方法，其特征在于，s3中，所述探测机的节点选择包括：节点分组、哈希环构建、节点挑选和节点数量缺失填充。
4.根据权利要求3所述的一种基于多维度实时拨测的cdn节点质量评估方法，其特征在于，所述节点分组包括：将去噪过程筛选得到的节点数据按照城市-业务组-节点进行分组信息，其中，以城市为一级目录，城市-业务组为二级目录。
5.根据权利要求4所述的一种基于多维度实时拨测的cdn节点质量评估方法，其特征在于，所述节点数量缺失填充包括：当节点的探测个数n为超参数，且部分西部省份的ip数量个数全选后还是达不到n个节点时，通过节点复选的形式进行填充，节点复选的规则为多次全选后，根据去噪策略中的性能数据排名进行填充。
6.根据权利要求5所述的一种基于多维度实时拨测的cdn节点质量评估方法，其特征在于，所述质量分计算包括：从prometheus拉取目标节点的探测数据，按照省内、邻省、大区三个维度的数据进行分组，计算其中的中值和iqr值和节点健康值，并根据省内节点选择列表生成topn序列。
7.根据权利要求6所述的一种基于多维度实时拨测的cdn节点质量评估方法，其特征在于，s5中，所述节点健康值的计算过程如下：
8.根据权利要求7所述的一种基于多维度实时拨测的cdn节点质量评估方法，其特征在于，s5中，所述节点质量评估判断包括：
9.一种基于多维度实时拨测的cdn节点质量评估系统，其基于如权利要求1-8任一项所述的一种基于多维度实时拨测的cdn节点质量评估方法实现，其特征在于，所述系统包括以下模块：
