数据备份方法、装置、设备、存储介质以及计算机程序产品与流程

    技术2024-12-04  14


    本技术涉及数据库,尤其涉及一种数据备份方法、装置、设备、存储介质以及计算机程序产品。


    背景技术:

    1、在传统it环境中,工作负载与计算节点的承载关系相对比较固定,存储和网络等资源环境变化较小,可预测性高,因此,在对环境中的多种工作负载进行定时备份时,可以将不同的备份计划通过静态计算的方式实现资源配置,分散到不同的时间窗口,避免备份计划之间的冲突,同时,在环境配置上,执行备份任务的节点和所使用的资源也比较固定,使用静态的备份计划可以相对比较容易的执行备份任务。

    2、但是,由于容器和kubernetes等云原生技术实现了对基础设施的抽象和动态管理,在容器集群环境下,计算节点可以动态添加、删除和变更调整,同时,由于容器化工作负载会由kubernetes在集群所有节点上动态调度,所以每个节点的cpu、内存、网络资源可用情况比传统it架构变化更加频繁,在对容器化工作负载进行备份时,备份作业也在容器集群中运行,需要使用容器集群内节点的资源运行备份作业,因此仅仅通过静态的方式来管理备份计划的执行,可能无法有效感知底层资源的动态变化,从而无法有效利用集群中的节点资源,影响备份任务的效率,甚至错过备份窗口。

    3、此外,在实践中,大规模容器集群往往会使用到异构的基础设施,不同节点的资源配置不同,例如数据的存储上,有些节点只能访问本节点本地的数据卷(localpv等),有些节点可以通过数据网络访问外置的存储系统(san、nas等),在复杂网络环境中,也不是所有的节点都能直接写入外部备份存储,或者写入备份存储的网络性能不同,因此在容器环境中进行备份时,必须考虑备份计划的执行和工作负载与特定节点的关联性。

    4、上述内容仅用于辅助理解本技术的技术方案,并不代表承认上述内容是现有技术。


    技术实现思路

    1、本技术的主要目的在于提供一种数据备份方法、装置、设备、存储介质以及计算机程序产品,旨在解决容器集群中影响数据备份的因素多,没有对备份计划进行评估以及规划,导致备份效率低的技术问题。

    2、为实现上述目的,本技术提出一种数据备份方法,所述数据备份方法包括:

    3、对预先获取的备份计划进行评估,得到评估结果,并基于所述评估结果输出备份任务;

    4、基于所述备份任务进行执行规划,得到规划结果,根据所述规划结果确定备份执行节点,并通过所述备份执行节点执行所述备份任务,得到备份结果。

    5、在一实施例中,所述对预先获取的备份计划进行评估,得到评估结果,并基于所述评估结果输出备份任务的步骤之前还包括:

    6、通过备份系统分析容器集群中的应用程序是否包含持久数据卷;

    7、若所述应用程序存在持久数据卷,则检测所述应用程序的持久数据卷,得到备份内容,其中,所述备份内容包括备份模式以及数据导出时间窗口;

    8、根据所述备份内容生成备份计划。

    9、在一实施例中,所述对预先获取的备份计划进行评估,得到评估结果,并基于所述评估结果输出备份任务的步骤包括:

    10、对所述备份计划进行分析,得到所述备份计划的可运行性、传输速率、资源可用性权重系数以及备份时间窗口;

    11、基于所述可运行性、传输速率、资源可用性权重系数以及备份时间窗口进行评估,得到评估结果;

    12、当所述评估结果为通过时,获取备份总数据量,并根据预设的优先级以及所述备份总数据量输出备份任务。

    13、在一实施例中,所述基于所述备份任务进行执行规划,得到规划结果,根据所述规划结果确定备份执行节点,并通过所述备份执行节点执行所述备份任务,得到备份结果的步骤包括:

    14、对所述备份任务中的数据卷数据进行分块,得到数据分块,并计算所述数据分块的哈希值得到所述备份内容的哈希值;

    15、基于备份任务得到备份目标端,并通过所述备份内容的哈希值与所述备份目标端的哈希值进行比对,得到数据增量;

    16、根据所述数据增量以及所述备份总数据量构建得到时间窗口关系式;

    17、基于所述时间窗口关系式以及预设的若干备份执行节点对所述备份任务进行递归规划,得到所述备份任务对应的备份执行节点中的任务数量以及任务起止时间,并根据所述任务数量以及任务起止时间输出规划结果;

    18、根据所述规划结果,通过所述备份任务对应的备份执行节点执行所述备份任务,得到备份结果。

    19、在一实施例中,所述基于所述备份任务进行执行规划,得到规划结果,根据所述规划结果确定备份执行节点,并通过所述备份执行节点执行所述备份任务,得到备份结果的步骤之后还包括:

    20、读取所述备份计划得到迭代策略,其中,所述迭代策略包括第一迭代策略、第二迭代策略以及第三迭代策略中的一种或多种;

    21、若所述迭代策略为第一迭代策略,则基于所述备份结果对所述备份总数据量进行迭代更新,得到迭代更新后的备份总数据量,并根据所述迭代更新后的备份总数据量输出迭代更新后的备份任务;

    22、若所述迭代策略为第二迭代策略,则根据预设的定时时间对容器集群的运行状态进行收集,得到备份影响要素,并基于所述备份影响要素对所述备份任务进行调整,输出调整后的备份任务;

    23、若所述迭代策略为第三迭代策略,则通过预设的监听方式对容器集群的集群环境进行监听,当所述集群环境发生变化时,对所述集群环境进行数据采集,得到变化资源以及变化信息,并根据所述变化资源以及变化信息对所述备份任务进行调整,输出调整后的备份任务。

    24、在一实施例中,所述基于所述时间窗口关系式以及预设的若干备份执行节点对所述备份任务进行递归规划的步骤包括:

    25、基于所述若干备份执行节点建立节点组、告警组以及缓冲组;

    26、根据所述节点组、告警组以及缓冲组,通过所述时间窗口关系式以及备份执行节点进行递归规划;

    27、若所述若干备份执行节点符合任务执行条件,则将所述备份任务添加至所述若干备份执行节点对应的节点组;

    28、若所述若干备份执行节点不符合任务执行条件,则将所述备份任务添加至所述告警组;

    29、若所述备份任务未完成递归规划,则将所述备份任务添加至缓冲组。

    30、此外,为实现上述目的,本技术还提出一种数据备份装置,所述数据备份装置包括:

    31、评估模块,用于对预先获取的备份计划进行评估,得到评估结果,并基于所述评估结果输出备份任务;

    32、规划模块,用于基于所述备份任务进行执行规划,得到规划结果,根据所述规划结果确定备份执行节点,并通过所述备份执行节点执行所述备份任务,得到备份结果。

    33、此外,为实现上述目的,本技术还提出一种数据备份设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的数据备份方法的步骤。

    34、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的数据备份方法的步骤。

    35、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的数据备份方法的步骤。

    36、本技术提出的一个或多个技术方案,至少具有以下技术效果:

    37、本技术实施例提出的一种数据备份方法、装置、设备、存储介质以及计算机程序产品,通过对预先获取的备份计划进行评估,得到评估结果,并基于所述评估结果输出备份任务;基于所述备份任务进行执行规划,得到规划结果,根据所述规划结果确定备份执行节点,并通过所述备份执行节点执行所述备份任务,得到备份结果。由此,对备份计划进行评估得到评估结果,再基于评估结果生成备份任务,然后对备份任务进行执行规划以及备份执行节点的确定,最后通过确定好的任务执行节点执行备份任务,得到备份结果,解决了容器集群中影响数据备份的因素多,没有对备份计划进行评估以及规划,导致备份效率低的问题,提高了数据备份的效率。


    技术特征:

    1.一种数据备份方法,其特征在于,所述的方法包括:

    2.如权利要求1所述的方法,其特征在于,所述对预先获取的备份计划进行评估,得到评估结果,并基于所述评估结果输出备份任务的步骤之前还包括:

    3.如权利要求1所述的方法,其特征在于,所述对预先获取的备份计划进行评估,得到评估结果,并基于所述评估结果输出备份任务的步骤包括:

    4.如权利要求3所述的方法,其特征在于,所述基于所述备份任务进行执行规划,得到规划结果,根据所述规划结果确定备份执行节点,并通过所述备份执行节点执行所述备份任务,得到备份结果的步骤包括:

    5.如权利要求3所述的方法,其特征在于,所述基于所述备份任务进行执行规划,得到规划结果,根据所述规划结果确定备份执行节点,并通过所述备份执行节点执行所述备份任务,得到备份结果的步骤之后还包括:

    6.如权利要求4所述的方法,其特征在于,所述基于所述时间窗口关系式以及预设的若干备份执行节点对所述备份任务进行递归规划的步骤包括:

    7.一种数据备份装置,其特征在于,所述装置包括:

    8.一种数据备份设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至6中任一项所述的数据备份方法的步骤。

    9.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据备份方法的步骤。

    10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据备份方法的步骤。


    技术总结
    本申请公开了一种数据备份方法、装置、终端设备、存储介质以及计算机程序产品,涉及数据库技术领域,方法包括:对预先获取的备份计划进行评估,得到评估结果,并基于所述评估结果输出备份任务;基于所述备份任务进行执行规划,得到规划结果,根据所述规划结果确定备份执行节点,并通过所述备份执行节点执行所述备份任务,得到备份结果。由此,对备份计划进行评估得到评估结果,再基于评估结果生成备份任务,然后对备份任务进行执行规划以及备份执行节点的确定,最后通过确定好的任务执行节点执行备份任务,得到备份结果,解决了容器集群中影响数据备份的因素多,没有对备份计划进行评估以及规划,导致备份效率低的问题,提高了数据备份的效率。

    技术研发人员:蔡建辉,李海军,郭至为,龙运理,游峰,杨海
    受保护的技术使用者:中移动金融科技有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-23015.html

    最新回复(0)