数据处理方法、装置、电子设备和存储介质与流程

    技术2025-03-17  39


    本技术属于数据存储,特别涉及一种数据处理方法、装置、电子设备和存储介质。


    背景技术:

    1、在相关技术中,可以通过重复数据删除和/或数据压缩来节省存储系统的存储空间,对于重复数据删除操作和数据压缩操作中的至少一种操作,要么采用在线模式执行上述至少一种操作,要么采用离线模式执行上述至少一种操作;在实际应用中,不同应用场景的业务特征是不同的,采用在线模式执行重复数据删除操作和/或数据压缩操作的方案不适用于一些应用场景,采用离线模式执行重复数据删除操作和/或数据压缩操作的方案不适用于另一些应用场景,采用在线模式执行重复数据删除操作和/或数据压缩操作的方案不符合一些应用场景的数据处理需求,同样,采用离线模式执行重复数据删除操作和/或数据压缩操作的方案也不符合另一些应用场景的数据处理需求。


    技术实现思路

    1、本技术实施例提供一种数据处理方法、装置、电子设备和存储介质。

    2、本技术实施例提供一种数据处理方法,所述方法包括:

    3、获取资源池的实时运行状态;

    4、在所述资源池的实时运行状态满足预设的采用离线模式的条件时,采用离线模式进行重复数据删除和/或数据压缩;在所述资源池的实时运行状态满足预设的采用在线模式的条件时,采用在线模式进行重复数据删除和/或数据压缩。

    5、在一些实施例中,所述资源池的实时运行状态包括至少一种运行状态指标;在获取所述资源池的实时运行状态后,所述方法还包括:针对所述实时运行状态中的目标指标,在所述目标指标大于第一阈值时,确定所述实时运行状态满足所述采用离线模式的条件;在所述目标指标大于或等于第一阈值时,确定所述实时运行状态满足所述采用在线模式的条件;所述目标指标为所述资源池的实时运行状态中选定的一种运行状态指标。

    6、可以看出,本技术实施例可以根据资源池的实时运行状态的单一运行状态指标,确定资源池的实时运行状态是否满足预设的采用离线模式的条件,或确定资源池的实时运行状态是否满足预设的采用在线模式的条件,从而,可以确确定执行重复数据删除和/或数据压缩的模式;由于本技术实施例可以根据资源池的实时运行状态的单一运行状态指标,确定执行重复数据删除和/或数据压缩的模式,因此,具有较为容易实现的特点。

    7、在一些实施例中,所述资源池的实时运行状态包括至少两种运行状态指标;在获取所述资源池的实时运行状态后,所述方法还包括:在所述实时运行状态中确定至少部分指标,所述至少部分指标的指标数大于或等于2;针对所述至少部分指标中的各个指标,分别确定对应的阈值;在所述至少部分指标中的至少一个指标大于对应的阈值时,确定所述实时运行状态满足所述采用离线模式的条件;在所述至少部分指标的每个指标均小于或等于对应的阈值时,确定所述实时运行状态满足所述采用在线模式的条件。

    8、可以看出,本技术实施例可以根据资源池的实时运行状态的多个运行状态指标,确定资源池的实时运行状态是否满足预设的采用离线模式的条件,或确定资源池的实时运行状态是否满足预设的采用在线模式的条件,从而,可以确定执行重复数据删除和/或数据压缩的模式;本技术实施例可以根据资源池的实时运行状态的多个运行状态指标,更加准确地确定执行重复数据删除和/或数据压缩的模式。

    9、在一些实施例中,所述资源池的实时运行状态包括至少两种运行状态指标;在获取所述资源池的实时运行状态后,所述方法还包括:在所述实时运行状态中确定至少部分指标,所述至少部分指标的指标数大于或等于2;确定所述至少部分指标的各个指标的权重,并针对所述至少部分指标的各个指标,分别确定对应的阈值;在所述至少部分指标中的第一指标大于所述第一指标对应的阈值时,确定所述第一指标为选中指标;在所述至少部分指标中的第一指标小于或等于所述第一指标对应的阈值时,确定所述第一指标为未选中指标;所述第一指标为所述至少部分指标中的任意一个指标;在所述至少部分指标中的选中指标的权重之和大于或等于第二阈值时,确定所述实时运行状态满足所述采用离线模式的条件;在所述至少部分指标中的选中指标的权重之和小于第二阈值时,确定所述实时运行状态满足所述采用在线模式的条件。

    10、可以看出,本技术实施例可以根据资源池的实时运行状态的至少部分运行状态指标与对应阈值的关系,确定出指标数值较小的选中指标,从而根据各个选中指标的权重之和与第二阈值的大小关系,可以更加合理地确定执行重复数据删除和/或数据压缩的模式。

    11、在一些实施例中,所述资源池的实时运行状态包括以下至少一种运行状态指标:存储池各节点的中央处理器(central processing unit,cpu)平均使用率、存储池各节点的内存平均使用率、存储池各节点的平均带宽、存储池业务数据的每秒进行读写操作的次数(input/output operations per second,iops)、存储池业务数据带宽、存储池缓存空间已用大小。

    12、可以看出,本技术实施例可以根据存储池各节点的cpu平均使用率、存储池各节点的内存平均使用率、存储池各节点的平均带宽、存储池业务数据的iops、存储池业务数据带宽或存储池缓存空间已用大小,较为准确地确定资源池的实时运行状态是否满足预设的采用离线模式的条件或足预设的采用在线模式的条件,从而可以较为准确地确定执行重复数据删除操作和/或数据压缩操作的模式。

    13、在一些实施例中,在获取资源池的实时运行状态之前,所述方法还包括:将所述资源池划分为多个域;在所述资源池的多个域的第一域的数据操作功能开启时,在在线模式、离线模式和自适应模式中选择执行所述第一域的数据操作的模式,其中,采用自适应模式执行所述第一域的数据操作的步骤包括:在所述第一域的实时运行状态满足预设的采用离线模式的条件时,采用离线模式进行所述第一域的数据操作;在所述第一域的实时运行状态满足预设的采用在线模式的条件时,采用在线模式进行所述第一域的数据操作;所述数据操作为重复数据删除或数据压缩。

    14、可以看出,本技术实施例可以针对资源池的第一域,灵活地选择执行第一域的重复数据删除的模式,或者,灵活地选择执行第一域的数据压缩的模式,有利于根据实际需求确定执行第一域的重复数据删除和/或数据压缩的模式,有利于实现不同域的重复数据删除操作的隔离和/或数据压缩操作的隔离。

    15、在一些实施例中,所述将所述资源池划分为多个域,包括:按照卷、存储池和存储集群中的至少一项,将所述资源池划分为多个域。可以看出,本技术实施例可以根据卷、存储池或存储集群,较为合理地将资源池划分为多个域。

    16、本技术实施例还提供了一种数据处理装置,所述装置包括:

    17、第一处理模块,用于获取资源池的实时运行状态;

    18、第二处理模块,用于在所述资源池的实时运行状态满足预设的采用离线模式的条件时,采用离线模式进行重复数据删除和/或数据压缩;在所述资源池的实时运行状态满足预设的采用在线模式的条件时,采用在线模式进行重复数据删除和/或数据压缩。

    19、本技术实施例还提供了一种电子设备,所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序以执行上述任意一种数据处理方法。

    20、本技术实施例还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任意一种数据处理方法。

    21、可以看出,本技术实施例可以根据资源池的实时运行状态,自适应地选择执行重复数据删除操作和/或数据压缩操作的模式,资源池的实时运行状态可以在一定程度上反映资源池所在应用场景的业务特征,因此,在所述资源池的实时运行状态满足预设的采用离线模式的条件时,采用离线模式进行重复数据删除和/或数据压缩的方案适用于资源池所在应用场景;在所述资源池的实时运行状态满足预设的采用在线模式的条件时,采用在线模式进行重复数据删除和/或数据压缩的方案适用于资源池所在应用场景,从而,本技术实施例可以根据资源池所在应用场景,自适应地选择执行重复数据删除操作和/或数据压缩操作的模式,有利于满足资源池所在应用场景的数据处理需求。


    技术特征:

    1.一种数据处理方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述资源池的实时运行状态包括至少一种运行状态指标;

    3.根据权利要求1所述的方法,其特征在于,所述资源池的实时运行状态包括至少两种运行状态指标;

    4.根据权利要求1所述的方法,其特征在于,所述资源池的实时运行状态包括至少两种运行状态指标;

    5.根据权利要求1所述的方法,其特征在于,所述资源池的实时运行状态包括以下至少一种运行状态指标:存储池各节点的中央处理器cpu平均使用率、存储池各节点的内存平均使用率、存储池各节点的平均带宽、存储池业务数据的每秒进行读写操作的次数iops、存储池业务数据带宽、存储池缓存空间已用大小。

    6.根据权利要求1至5任一项所述的方法,其特征在于,在获取资源池的实时运行状态之前,所述方法还包括:

    7.根据权利要求6所述的方法,其特征在于,所述将所述资源池划分为多个域,包括:按照卷、存储池和存储集群中的至少一项,将所述资源池划分为多个域。

    8.一种数据处理装置,其特征在于,所述装置包括:

    9.一种电子设备,其特征在于,所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,

    10.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。


    技术总结
    本实施例公开了一种数据处理方法、装置、电子设备和计算机存储介质,该方法包括获取资源池的实时运行状态;在所述资源池的实时运行状态满足预设的采用离线模式的条件时,采用离线模式进行重复数据删除和/或数据压缩;在所述资源池的实时运行状态满足预设的采用在线模式的条件时,采用在线模式进行重复数据删除和/或数据压缩。

    技术研发人员:李军芬,吴平松,陈佳媛,张昊,刘景磊
    受保护的技术使用者:中国移动通信有限公司研究院
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-27673.html

    最新回复(0)