一种数据中心机房的资源调度方法、装置及介质与流程

    技术2026-01-22  10


    本发明涉及数据中心,并且更具体地,涉及一种数据中心机房的资源调度方法、装置及介质。


    背景技术:

    1、idc近日发布的报告对全球数据圈进行了未来五年预测,包括消费者/企业、区域、数据类型、位置(核心、边缘、端侧)和云/非云。报告预测,全球2024年将生成159.2zb数据,2028年将增加一倍以上,达到384.6zb,复合增长率为24.4%。据公开资料显示,2024年至2028年国内数据中心行业受布局优化和创新驱动等有利因素驱动,市场规模预计将持续增长,预计2028年数据中心市场规模将达到5437亿元,机架规模将达到2000万架。

    2、目前,数据中心机房数据汇聚技术已取得显著进展,涌现出许多具有代表性的技术。其中,一种常见的技术是基于静态配置的数据中心机房数据汇聚,通过预先配置固定数量的数据汇聚节点和网络带宽来处理数据传输和汇聚,以满足预估的数据处理需求。静态配置的数据中心机房数据汇聚技术在一定程度上解决数据汇聚的基本需求,但也存在一些不足。首先,由于其是静态配置的,无法适应数据处理需求的实时变化。当数据流量剧增或减少时,系统无法及时调整资源分配,导致资源浪费或性能不足的问题。其次,静态配置系统缺乏对数据汇聚环境的智能感知和管理,无法根据实际情况进行动态调度和优化,导致系统的稳定性和效率不高。


    技术实现思路

    1、针对现有技术的不足,本发明提供一种数据中心机房的资源调度方法、装置及介质。

    2、根据本发明的一个方面,提供了一种数据中心机房的资源调度方法,包括:

    3、实时监测数据中心机房的实时指标,获取数据中心机房的历史指标数据、实时指标数据,其中实时指标包括数据流量以及网络负载;

    4、将预定连续时间段内的历史指标数据和实时指标数据输入至预先构建的预测模型中,输出数据中心机房未来预定时间段内的指标预测数据;

    5、采用动态规划算法根据指标预测数据、系统资源利用率和服务质量要求进行资源分配和优化,确定资源调度策略;

    6、根据资源调度策略实时动态调整数据中心机房的数据汇集节点和网络带宽的配置。

    7、可选地,预测模型为arima模型,其构造函数为:

    8、yt=c+α1yt-1+α2yt-2+...+αpyt-p+β1εt-1+β2εt-2+...+βqεt-q+εt

    9、式中,yt表示时间序列在时刻t的观测值;c是常数项;α1,α2,...,αp是自回归项的系数,表示当前时刻的观测值与过去p个时刻的观测值之间的线性关系;yt-1,yt-2,...,yt-p分别表示过去p个时刻的观测值;β1,β2,...,βq是移动平均项的系数,表示当前时刻的观测值与过去q个时刻的误差项之间的线性关系;εt是白噪声误差项,表示模型未能解释的随机波动部分。

    10、可选地,动态规划算法的目标函数为:

    11、

    12、0≤xi≤mi

    13、式中,n为数据汇聚节点的数据;xi为第i个数据汇聚节点的数量;ci为第i个数据汇聚节点的成本;bi为第i个数据汇聚节点的带宽;b为总带宽需求;mi为第i个数据汇聚节点的最大数量。

    14、可选地,采用动态规划算法根据指标预测数据、系统资源利用率和服务质量要求进行资源分配和优化,确定资源调度策略,包括:

    15、根据指标预测数据、统资源利用率和服务质量要求,计算数据中心机房每个数据中心节点的加权移动平均值;

    16、根据数据中心机房所有数据中心节点的加权移动平均值、利用预先构建的状态转移方程,计算每个时间点的状态;

    17、根据所有时间点的状态中的最优解对应的策略作为资源调度策略。

    18、可选地,加权移动平均值的计算公式为:

    19、wmat=η·ft+λ·lt+μ·rt+θ·qt

    20、其中,wmat表示数据中心节点在时刻t的加权移动平均值;ft表示数据中心节点在时刻t的数据流量预测值;lt表示数据中心节点在时刻t的网络负载预测值;rt表示数据中心节点在时刻t的系统资源利用率;qt表示数据中心节点在时刻t的服务质量要求;η,λ,μ,θ分别表示各因素的权重系数。

    21、可选地,状态转移方程为:

    22、dp[i][j]=max(dp[i-1][k]+wmat)

    23、式中,k表示第i个数据中心节点可以分配的网络带宽资源;状态dp[i][j]表示在时刻t前i个数据中心节点已经分配了j的网络带宽资源,使得加权移动平均值wmat最大。

    24、根据本发明的另一个方面,提供了一种数据中心机房的资源调度装置,包括:

    25、获取模块,用于实时监测数据中心机房的实时指标,获取数据中心机房的历史指标数据、实时指标数据,其中实时指标包括数据流量以及网络负载;

    26、预测模块,用于将预定连续时间段内的历史指标数据和实时指标数据输入至预先构建的预测模型中,输出数据中心机房未来预定时间段内的指标预测数据;

    27、确定模块,用于采用动态规划算法根据指标预测数据、系统资源利用率和服务质量要求进行资源分配和优化,确定资源调度策略;

    28、调整模块,用于根据资源调度策略实时动态调整数据中心机房的数据汇集节点和网络带宽的配置。

    29、根据本发明的又一个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行本发明上述任一方面所述的方法。

    30、根据本发明的又一个方面,提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现本发明上述任一方面所述的方法。

    31、本发明的效果:

    32、本发明提出的动态可扩展的数据中心机房数据汇聚系统及方法,通过实时监测数据流量、网络负载等指标,结合智能调度算法进行资源动态调整和优化,本发明将实现以下效果:

    33、(1)提高数据处理效率:传统静态配置的数据中心机房数据汇聚系统通常难以适应数据处理需求的实时变化,导致资源浪费或性能不足。而本发明所提出的动态可扩展系统能够根据实时监测的数据情况,灵活调整数据汇聚节点和网络带宽的数量和配置,以满足不同场景下的数据处理需求,从而显著提高数据处理效率。

    34、(2)提升系统稳定性:传统数据中心机房在面对数据处理需求波动时,由于资源分配不灵活,容易导致系统性能波动或不稳定。而本发明提出的系统能够根据实时需求动态调整资源分配,避免资源过剩或不足的情况,从而提升系统的稳定性和可靠性,保障数据中心机房的持续运行。

    35、(3)降低成本:传统静态配置系统往往需要提前购置大量的硬件设备和网络带宽,但难以准确预测未来数据处理需求,容易造成资源浪费。相比之下,本发明所提出的动态可扩展系统能够根据实时监测和预测模型,精确调整资源分配,避免过度采购或使用资源,从而降低运营成本,提升资源利用效率,为数据中心运营商带来经济效益。


    技术特征:

    1.一种数据中心机房的资源调度方法,其特征在于,包括:

    2.根据权利要求1所述的方法,其特征在于,所述预测模型为arima模型,其构造函数为:

    3.根据权利要求1所述的方法,其特征在于,所述动态规划算法的目标函数为:

    4.根据权利要求1所述的方法,其特征在于,采用动态规划算法根据所述指标预测数据、系统资源利用率和服务质量要求进行资源分配和优化,确定资源调度策略,包括:

    5.根据权利要求4所述的方法,其特征在于,所述加权移动平均值的计算公式为:

    6.根据权利要求5所述的方法,其特征在于,所述状态转移方程为:

    7.一种数据中心机房的资源调度装置,其特征在于,包括:

    8.根据权利要求7所述的装置,其特征在于,所述预测模型为arima模型,其构造函数为:

    9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-6任一所述的方法。

    10.一种电子设备,其特征在于,所述电子设备包括:


    技术总结
    本发明公开了一种数据中心机房的资源调度方法、装置及介质。其中,方法包括:实时监测数据中心机房的实时指标,获取数据中心机房的历史指标数据、实时指标数据,其中实时指标包括数据流量以及网络负载;将预定连续时间段内的历史指标数据和实时指标数据输入至预先构建的预测模型中,输出数据中心机房未来预定时间段内的指标预测数据;采用动态规划算法根据指标预测数据、系统资源利用率和服务质量要求进行资源分配和优化,确定资源调度策略;根据资源调度策略实时动态调整数据中心机房的数据汇集节点和网络带宽的配置。

    技术研发人员:吴开明,肖雷,张波
    受保护的技术使用者:中国电信股份有限公司云计算贵州分公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-39360.html

    最新回复(0)