资源分配方法、装置、设备及计算机可读存储介质与流程

    技术2024-12-06  15


    本申请属于大数据,尤其涉及一种资源分配方法、装置、设备及计算机可读存储介质。


    背景技术:

    1、目前企业级大数据平台承担数据处理和存储的平台广泛采用hadoop,hadoop通常还包含承担各个租户数据开发、部署和调度等。hadoop用于的资源调度和分配组件是yarn(另一种资源协调者,yet another resource negotiator),yarn为各个租户分配计算资源配额,并控制计算资源在额定的范围内。

    2、然而,目前大数据平台的资源分配方式不合理,难以保障各个租户连续和稳定地运行应用程序,导致失败率增加。


    技术实现思路

    1、本申请实施例提供了一种资源分配方法、装置、设备及计算机可读存储介质,能够较为合理的分配大数据平台中的资源,有效保证各个租户连续和稳定地运行应用程序。

    2、第一方面,本申请实施例提供了一种资源分配方法,资源分配方法包括:获取多个租户在历史时间段的资源使用信息和多个租户所使用的多个应用程序之间的血缘关系;根据多个租户在历史时间段的资源使用信息和血缘关系,确定各个租户资源分配的高峰期和低谷期;根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,资源用于执行应用程序。

    3、根据本申请第一方面的实施方式,根据多个租户在历史时间段的资源使用信息和血缘关系,确定各个租户资源分配的高峰期和低谷期,包括:根据多个租户在历史时间段的资源使用信息和血缘关系,从各个租户所使用的应用程序中,确定出多个租户的资源高峰前置应用程序和资源低谷前置应用程序;根据多个租户的资源高峰前置应用程序在时间轴上的顺序,确定多个租户资源分配的高峰期的先后顺序;根据多个租户资源分配的高峰期的先后顺序,向各个租户分配大数据平台中的资源。

    4、根据本申请第一方面前述任一实施方式,多个租户在历史时间段的资源使用信息包括各个租户的资源消耗高峰阶段和资源消耗低谷阶段;根据多个租户在历史时间段的资源使用信息和血缘关系,从各个租户所使用的应用程序中,确定出多个租户的资源高峰前置应用程序和资源低谷前置应用程序,包括:对于血缘关系中的任意第i个应用程序,当第i个应用程序的下级应用程序的数量大于第一预设阈值且第i个应用程序的下级应用程序位于资源消耗高峰阶段时,确定第i个应用程序为资源高峰前置应用程序,第i个应用程序的下级应用程序为位于第i个应用程序之后且依赖第i个应用程序的执行结果的应用程序,i为正整数;对于血缘关系中的任意第j个应用程序,当第j个应用程序的下级应用程序的数量小于第二预设阈值且第j个应用程序的下级应用程序位于资源消耗低谷阶段时,确定第j个应用程序为资源低谷前置应用程序,第j个应用程序的下级应用程序为位于第j个应用程序之后且依赖第j个应用程序的执行结果的应用程序,j为正整数。

    5、根据本申请第一方面前述任一实施方式,根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,包括:在第x个租户资源分配的高峰期时,增加第x个租户所分配的大数据平台中的资源,以及增加第x个租户的应用程序并发度,x为正整数;在第x个租户资源分配的低谷期时,减少第x个租户所分配的大数据平台中的资源,以及减少第x个租户的应用程序并发度。

    6、根据本申请第一方面前述任一实施方式,根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,包括:当第x个租户资源分配的高峰期结束时,将分配给第x个租户的至少部分资源按照多个租户资源分配的高峰期的先后顺序,分配给下一租户,x为正整数。

    7、根据本申请第一方面前述任一实施方式,在根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源之前,资源分配方法还包括:设定各个租户资源分配的高峰期的最大使用时长;根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,还包括:当到达第x个租户资源分配的高峰期的最大使用时长时,将分配给第x个租户的至少部分资源按照多个租户资源分配的高峰期的先后顺序,分配给下一租户。

    8、根据本申请第一方面前述任一实施方式,在获取多个租户在历史时间段的资源使用信息和多个租户所使用的多个应用程序之间的血缘关系之前,资源分配方法还包括:基于资源分配组件创建各个租户的资源分配队列,并设置各个租户的最小资源数量;基于各个租户的最小资源数量,向各个租户的资源分配队列分配大数据平台中的资源;判断多个租户的最小资源数量之和是否达到大数据平台中的资源的上限;根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,包括:当多个租户的最小资源数量之和未达到大数据平台中的资源的上限时,根据各个租户资源分配的高峰期和低谷期,将大数据平台中的剩余资源依次分配给各个租户的资源分配队列。

    9、根据本申请第一方面前述任一实施方式,在获取多个租户在历史时间段的资源使用信息和多个租户所使用的多个应用程序之间的血缘关系之前,资源分配方法还包括:为各个租户分配资源分配队列的使用权限,以使各个租户根据分配的使用权限在自身的资源分配队列中运行应用程序。

    10、根据本申请第一方面前述任一实施方式,根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,包括:跟踪并记录各个租户的应用程序的运行状态;对于任意一个第x个租户,当第x个租户的目标应用程序执行完毕后,回收分配给第x个租户的资源,并将回收的第x个租户的资源重新分配给其他申请资源的租户,x为正整数。

    11、第二方面,本申请实施例提供了一种资源分配装置,资源分配装置包括:获取模块,用于获取多个租户在历史时间段的资源使用信息和多个租户所使用的多个应用程序之间的血缘关系;确定模块,用于根据多个租户在历史时间段的资源使用信息和血缘关系,确定各个租户资源分配的高峰期和低谷期;分配模块,用于根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,资源用于执行应用程序。

    12、第三方面,本申请实施例提供了一种电子设备,电子设备包括:处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现如第一方面提供的资源分配方法的步骤。

    13、第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如第一方面提供的资源分配方法的步骤。

    14、本申请实施例的资源分配方法、装置、设备及计算机可读存储介质,根据多个租户在历史时间段的资源使用信息和多个租户所使用的多个应用程序之间的血缘关系,确定各个租户资源分配的高峰期和低谷期;根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,实现大数据平台中的资源能够随各个租户资源分配的高峰期和低谷期的变化而动态调整,能够较为合理的分配大数据平台中的资源,有效保证各个租户连续和稳定地运行应用程序,降低应用程序运行的失败率。



    技术特征:

    1.一种资源分配方法,其特征在于,包括:

    2.根据权利要求1所述的方法,其特征在于,所述根据所述多个租户在历史时间段的资源使用信息和所述血缘关系,确定各个租户资源分配的高峰期和低谷期,包括:

    3.根据权利要求1所述的方法,其特征在于,所述多个租户在历史时间段的资源使用信息包括各个租户的资源消耗高峰阶段和资源消耗低谷阶段;

    4.根据权利要求2所述的方法,其特征在于,所述根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,包括:

    5.根据权利要求4所述的方法,其特征在于,所述根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,包括:

    6.根据权利要求5所述的方法,其特征在于,在所述根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源之前,所述方法还包括:

    7.根据权利要求5所述的方法,其特征在于,在所述获取多个租户在历史时间段的资源使用信息和所述多个租户所使用的多个应用程序之间的血缘关系之前,所述方法还包括:

    8.根据权利要求7所述的方法,其特征在于,在所述获取多个租户在历史时间段的资源使用信息和所述多个租户所使用的多个应用程序之间的血缘关系之前,所述方法还包括:

    9.根据权利要求1所述的方法,其特征在于,所述根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,包括:

    10.一种资源分配装置,其特征在于,包括:

    11.一种电子设备,其特征在于,所述电子设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的资源分配方法的步骤。

    12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的资源分配方法的步骤。


    技术总结
    本申请实施例提供了一种资源分配方法、装置、设备及计算机可读存储介质,方法包括:获取多个租户在历史时间段的资源使用信息和多个租户所使用的多个应用程序之间的血缘关系;根据多个租户在历史时间段的资源使用信息和血缘关系,确定各个租户资源分配的高峰期和低谷期;根据各个租户资源分配的高峰期和低谷期,向各个租户分配大数据平台中的资源,资源用于执行应用程序。本申请实施例能够有效保证各个租户连续和稳定地运行应用程序,降低应用程序运行的失败率。

    技术研发人员:颜涛,钟全龙,牛羽
    受保护的技术使用者:中国移动通信集团重庆有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-23121.html

    最新回复(0)