存储服务产生的性能统计数据管理方法、装置、设备及介质与流程

    技术2025-04-26  32


    本发明涉及计算机,特别涉及一种存储服务产生的性能统计数据管理方法、装置、设备及介质。


    背景技术:

    1、在当今大数据时代,存储集群系统越来越复杂与重要。存储系统之上运行的存储服务7*24小时不停工作,同时也产生了海量的性能统计数据。性能统计数据是全方位监控存储系统运行情况的重要基础,随着对性能统计功能要求的发展,性能统计数据的数量呈现海量发展之势。以统计的对象为卷为例:常见的存储系统对卷数量的支持规格为一万个,按照采样粒度为5秒计算,单控制器节点7天产生的统计记录条数有12.075亿条之多。当将统计对象从卷扩展到所有类型的对象,将统计时间从7天扩展到更长的时间周期,将控制器节点个数从1个扩展到存储集群内所有节点时,这个数据量级将是海量的。

    2、当前市面上常见的性能统计数据管理工具是引入了成熟的数据库系统,采用这种方法,就需要在本地存储系统运行的设备之上,并行运行一套数据库服务系统,两套系统共用同一份硬件资源。通常来说,数据库服务的内存占用、cpu(central processing unit,中央处理器)占用情况都是相当可观的,这种方式不可避免得会导致对系统资源得争抢,继而影响到存储系统得主流业务功能。因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。


    技术实现思路

    1、有鉴于此,本发明的目的在于提供一种存储服务产生的性能统计数据管理方法、装置、设备及介质,能够保证不影响存储系统的主流业务功能的同时占用更小的存储空间,实现海量性能统计数据的管理。其具体方案如下:

    2、第一方面,本技术公开了一种存储服务产生的性能统计数据管理方法,应用于存储系统,包括:

    3、在所述存储系统的硬盘空间上创建用于保存性能统计数据的内部卷;所述性能统计数据为由所述存储系统上运行的存储服务产生的数据;

    4、为所述内部卷构建预设映射管理规则;所述预设映射管理规则包括用于为不同的统计对象分配卷上空间位置的空间分配规则、用于对所述统计对象的数据进行数据寻址的数据寻址规则、以及用于根据预设采样周期追加保存新性能统计数据的数据更新规则;其中,所述空间分配规则根据预设时间粒度对所述内部卷进行分区,并设置所述统计对象及统计指标和保存占用空间大小的映射关系;所述数据寻址规则基于所述空间分配规则,通过调用预设读数据指令进行数据寻址;所述数据更新规则通过利用所述新性能统计数据对所述内部卷中的超期数据进行循环覆盖;

    5、利用所述预设映射管理规则对所述性能统计数据进行管理。

    6、可选的,为所述内部卷构建所述空间分配规则,包括:

    7、根据预先设置的不同的采样周期分别确定相应的时间粒度,以得到所述预设时间粒度,并根据所述预设时间粒度确定所述内部卷的分组,以便基于所述分组对所述内部卷进行分区;其中,所述采样周期为针对不同的统计对象设置的获取对应的性能统计数据的时间周期;

    8、确定第一统计指标,并为所述第一统计指标分别设置相应的第一保存占用空间大小,然后基于所述第一保存占用空间大小,按照预设排布顺序依次排布所述第一统计指标,以得到第一映射关系;

    9、确定不同的所述统计对象对应的统计对象类型,并根据所述统计对象类型确定所述统计对象对应的第二统计指标,然后基于所述第二统计指标确定与所述统计对象对应的第二保存占用空间大小,以得到第二映射关系;

    10、相应的,所述利用所述预设映射管理规则对所述性能统计数据进行管理,包括:

    11、基于所述空间分配规则,根据所述采样周期获取不同的统计对象对应的性能统计数据;

    12、根据所述采样周期对应的预设时间粒度,以及基于所述第一映射关系和所述第二映射关系将所述性能统计数据保存至所述内部卷中相应的分区。

    13、可选的,为所述内部卷构建数据寻址规则,包括:

    14、针对所述数据寻址规则,设置每个采样周期占用的逻辑区块地址数量、采样频率以及所述内部卷的每个分区维护各自分区内的记录时对应的初始时间;

    15、相应的,所述利用所述预设映射管理规则对所述性能统计数据进行管理,包括:

    16、基于所述数据寻址规则调用所述预设读数据指令;

    17、基于所述预设读数据指令,根据所述逻辑区块地址数量在所述内部卷上对目标分区进行寻址,以确定所述目标分区对应的第一起始偏移地址;

    18、基于所述采样频率、所述目标分区维护内部记录时对应的初始时间和所述第一起始偏移地址,在所述目标分区内对采样点进行寻址,以确定所述采样点对应的第二起始偏移地址;

    19、基于所述第二起始偏移地址并根据预先建立的统计对象类型与相应的起始寻址偏移之间的映射关系,在当前采样周期内对所述统计对象类型进行寻址,以确定所述统计对象类型对应的第三起始偏移地址;

    20、基于所述第三起始偏移地址并根据所述统计对象的标识信息以及第三保存占用空间大小对所述统计对象中的数据进行寻址,以确定所述统计对象中的数据的目标地址;其中,所述第三保存占用空间大小包括所述统计对象的一条采样记录对应的占用空间大小和与当前逻辑区块地址格式类型对应的逻辑区块地址的占用空间大小。

    21、可选的,为所述内部卷构建数据更新规则,包括:

    22、构建第一数据更新规则,并根据所述第一数据更新规则从所述存储系统中确定配置节点;

    23、相应的,所述利用所述预设映射管理规则对所述性能统计数据进行管理,包括:

    24、基于所述第一数据更新规则,通过所述配置节点按照所述预设采样周期获取所述存储系统中其他节点中的存储服务产生的性能统计数据,以确定新性能统计数据;

    25、获取用于追加保存所述新性能统计数据的读写请求,并设置提交所述读写请求的起始逻辑区块地址和提交所述读写请求的占用长度大小;

    26、调用预设提交请求指令,并基于所述起始逻辑区块地址和所述占用长度大小,在所述读写请求响应成功后追加保存所述新性能统计数据。

    27、可选的,所述通过所述配置节点按照所述预设采样周期获取所述存储系统中其他节点中的存储服务产生的性能统计数据,以确定新性能统计数据之后,还包括:

    28、将所述新性能统计数据保存在所述配置节点的内存中;

    29、当所述配置节点从所述内部卷中申请到缓存资源后,将所述内存中的所述新性能统计数据以二进制码流的格式写入所述缓存资源。

    30、可选的,为所述内部卷构建数据更新规则,包括:

    31、构建第二数据更新规则,并根据所述第二数据更新规则为所述内部卷中各分区设置所述性能统计数据的最大保存时长;

    32、相应的,所述利用所述预设映射管理规则对所述性能统计数据进行管理,包括:

    33、基于所述第二数据更新规则,判断所述内部卷中的当前性能统计数据的保存周期是否超过所述最大保存时长;

    34、如果所述当前性能统计数据的保存周期超过所述最大保存时长,则确定目标超期性能统计数据,并利用所述新性能统计数据对所述目标超期性能统计数据进行覆盖;

    35、如果所述当前性能统计数据的保存周期没有超过所述最大保存时长,则触发所述基于所述第一数据更新规则,通过所述配置节点按照所述预设采样周期获取所述存储系统中其他节点中的存储服务产生的性能统计数据的步骤。

    36、可选的,所述统计指标包括:每秒读写次数、每秒可以完成的读取操作次数、每秒可以完成的写入操作次数、带宽、读带宽、写带宽、时延、读时延以及写时延。

    37、第二方面,本技术公开了一种存储服务产生的性能统计数据管理装置,应用于存储系统,包括:

    38、内部卷创建模块,用于在所述存储系统的硬盘空间上创建用于保存性能统计数据的内部卷;所述性能统计数据为由所述存储系统上运行的存储服务产生的数据;

    39、规则构建模块,用于为所述内部卷构建预设映射管理规则;所述预设映射管理规则包括用于为不同的统计对象分配卷上空间位置的空间分配规则、用于对所述统计对象的数据进行数据寻址的数据寻址规则、以及用于根据预设采样周期追加保存新性能统计数据的数据更新规则;其中,所述空间分配规则根据预设时间粒度对所述内部卷进行分区,并设置所述统计对象及统计指标和保存占用空间大小的映射关系;所述数据寻址规则基于所述空间分配规则,通过调用预设读数据指令进行数据寻址;所述数据更新规则通过利用所述新性能统计数据对所述内部卷中的超期数据进行循环覆盖;

    40、数据管理模块,用于利用所述预设映射管理规则对所述性能统计数据进行管理。

    41、第三方面,本技术公开了一种电子设备,所述电子设备包括处理器和存储器;其中,所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如前所述的存储服务产生的性能统计数据管理方法。

    42、第四方面,本技术公开了一种计算机可读存储介质,用于存储计算机程序;其中所述计算机程序被处理器执行时实现如前所述的存储服务产生的性能统计数据管理方法。

    43、本技术提供了一种存储服务产生的性能统计数据管理方法,应用于存储系统,包括:在所述存储系统的硬盘空间上创建用于保存性能统计数据的内部卷;所述性能统计数据为由所述存储系统上运行的存储服务产生的数据;为所述内部卷构建预设映射管理规则;所述预设映射管理规则包括用于为不同的统计对象分配卷上空间位置的空间分配规则、用于对所述统计对象的数据进行数据寻址的数据寻址规则、以及用于根据预设采样周期追加保存新性能统计数据的数据更新规则;其中,所述空间分配规则根据预设时间粒度对所述内部卷进行分区,并设置所述统计对象及统计指标和保存占用空间大小的映射关系;所述数据寻址规则基于所述空间分配规则,通过调用预设读数据指令进行数据寻址;所述数据更新规则通过利用所述新性能统计数据对所述内部卷中的超期数据进行循环覆盖;利用所述预设映射管理规则对所述性能统计数据进行管理。

    44、本技术的有益技术效果为:通过在存储系统的硬盘空间上创建一个内部卷,该内部卷管理的空间用于保存性能统计数据,可以不依赖额外的硬件环境和数据管理软件,完全运行在和存储服务相同的硬件存储服务器上进行性能统计数据的管理。进一步的,针对该内部卷,设计一套预设映射管理规则,该预设管理规则中包括了如何对性能统计数据进行空间分配,如何对不同的统计对象的数据进行数据寻址,以及如何对内部卷中的数据进行数据更新。如此一来,可依靠存储系统软件内置的功能模块,在保证不影响存储系统的主流业务功能的前提下,实现占用更小的存储空间,保存、管理几十亿条性能统计数据。实现实时数据更新、快速查询及展示,更高效的进行性能统计数据读写。

    45、此外,本技术提供的一种存储服务产生的性能统计数据管理装置、设备及存储介质,与上述存储服务产生的性能统计数据管理方法对应,效果同上。


    技术特征:

    1.一种存储服务产生的性能统计数据管理方法,其特征在于,应用于存储系统,包括:

    2.根据权利要求1所述的存储服务产生的性能统计数据管理方法,其特征在于,为所述内部卷构建所述空间分配规则,包括:

    3.根据权利要求1所述的存储服务产生的性能统计数据管理方法,其特征在于,为所述内部卷构建数据寻址规则,包括:

    4.根据权利要求1所述的存储服务产生的性能统计数据管理方法,其特征在于,为所述内部卷构建数据更新规则,包括:

    5.根据权利要求4所述的存储服务产生的性能统计数据管理方法,其特征在于,所述通过所述配置节点按照所述预设采样周期获取所述存储系统中其他节点中的存储服务产生的性能统计数据,以确定新性能统计数据之后,还包括:

    6.根据权利要求4所述的存储服务产生的性能统计数据管理方法,其特征在于,为所述内部卷构建数据更新规则,包括:

    7.根据权利要求1至6任一项所述的存储服务产生的性能统计数据管理方法,其特征在于,所述统计指标包括:每秒读写次数、每秒可以完成的读取操作次数、每秒可以完成的写入操作次数、带宽、读带宽、写带宽、时延、读时延以及写时延。

    8.一种存储服务产生的性能统计数据管理装置,其特征在于,应用于存储系统,包括:

    9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;其中,所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的存储服务产生的性能统计数据管理方法。

    10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的存储服务产生的性能统计数据管理方法。


    技术总结
    本申请公开了一种存储服务产生的性能统计数据管理方法、装置、设备及介质,涉及计算机技术领域。应用于存储系统,该方法包括:在所述存储系统的硬盘空间上创建用于保存性能统计数据的内部卷;为所述内部卷构建预设映射管理规则;所述预设映射管理规则包括用于为不同的统计对象分配卷上空间位置的空间分配规则、用于对所述统计对象的数据进行数据寻址的数据寻址规则、以及用于根据预设采样周期追加保存新性能统计数据的数据更新规则;利用所述预设映射管理规则对所述性能统计数据进行管理。通过本申请的技术方案,保证不影响存储系统的主流业务功能的同时占用更小的存储空间,实现海量性能统计数据的管理。

    技术研发人员:刘晨曦,苑忠科,秦文政
    受保护的技术使用者:苏州元脑智能科技有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-29964.html

    最新回复(0)