一种基于云计算的资源分配策略优化管理系统及方法

    技术2025-12-23  9


    本发明涉及云计算,具体为一种基于云计算的资源分配策略优化管理系统及方法。


    背景技术:

    1、随着计算机网络技术的快速发展,数据处理量也呈爆发式增长,但人们对数据处理速度也提出了更为苛刻的要求,目前,云计算技术能够在很短的时间完成大量数据的处理工作,然而,由于一些用户处理数据量较大,占用较多的计算资源,出现资源分配不均,造成处理节点无法获得足够的计算资源,导致处理节点负载大,处理速度缓慢,而且,由于用户的使用习惯不同且具有很强的随机性,现有技术无法准确地为用户分配资源,造成一些用户,资源出现富余并侵占资源,无法发挥资源的全部算力,进而导致资源利用率不高,因此,设计提高资源利用率和处理效率的一种基于云计算的资源分配策略优化管理系统及方法是很有必要的。


    技术实现思路

    1、本发明的目的在于提供一种基于云计算的资源分配策略优化管理系统及方法,以解决上述背景技术中提出的问题。

    2、为了解决上述技术问题,本发明提供如下技术方案:一种基于云计算的资源分配策略优化管理系统及方法,包括数据收集模块、资源管理模块和资源优化模块,其特征在于:所述数据收集模块用于收集节点的运行数据、用户的使用记录和将待处理数据录入系统,所述资源管理模块用于根据用户的使用习惯为待处理数据分配处理节点,并分析节点负载对节点资源进行调度,所述资源优化模块用于识别用户对服务器资源的占用情况并进行限制,分析用户端占用资源的使用率,根据分析结果调整资源,所述数据收集模块、资源管理模块和资源优化模块相互通讯连接;

    3、所述节点分配模块包括用户习惯分析子模块和资源分配子模块,所述用户习惯分析子模块用于分析用户的使用习惯,根据分析结果为用户分配资源,所述资源分配子模块用于根据分析结果分配节点及对应的资源;

    4、所述节点优化模块包括负载分析子模块和节点调整子模块,所述负载分析子模块用于分析节点的负载,所述节点调整子模块用于根据数据大小对节点的数据容量进行调整。

    5、根据上述技术方案,所述数据收集模块包括节点运行数据采集模块、用户使用记录收集模块和数据录入模块,所述节点运行数据采集模块用于收集处理节点的资源占用数据、节点负载和节点资源使用情况,所述用户使用记录收集模块用于收集用户的使用习惯、使用模式和处理数据信息,所述数据录入模块用于将待处理数据录入系统。

    6、根据上述技术方案,所述资源管理模块包括节点分配模块,所述节点分配模块用于分析用户的使用习惯和待处理数据的大小分配节点及节点资源。

    7、根据上述技术方案,所述资源管理模块还包括节点优化模块,所述节点优化模块用于分析节点的负载情况并根据节点的负载情况调度资源进行补充。

    8、根据上述技术方案,所述资源优化模块包括需求分析子模块和资源调模块,所述需求分析子模块用于分析处理数据所需的资源,所述资源调整子模块用于将多余的资源放入系统资源池。

    9、根据上述技术方案,所述资源分配策略优化管理方法主要包括以下步骤:

    10、步骤s1:通过节点运行数据采集模块,实时收集节点集群中各个节点的运行数据,通过用户使用记录收集模块,将用户对资源的使用时间段、资源占用大小录入系统,通过数据录入模块,将待处理数据录入系统;

    11、步骤s2:在为用户分配节点和资源时,系统触发节点分配模块启动,开始分析用户的使用习惯,根据分析结果为用户预分配处理资源和节点;

    12、步骤s3:当用户将待处理数据录入系统后,系统启动节点优化模块,开始分析节点的负载率,根据节点的负载率调整节点的数据容量;

    13、步骤s4:当节点处理数据时,启动资源优化模块,开始分析当前节点的资源是否足够处理当前数据,并根据分析结果调取资源对节点进行补偿。

    14、根据上述技术方案,所述步骤s2进一步包括以下步骤:

    15、步骤s21:调取用户的使用记录,识别用户的使用时间段数据,识别用户使用时间段的特征,根据时间段特征对用户使用时间段进行分组,记录各组中用户使用时间段出现的次数m,通过公式计算用户在当前使用时间段处理数据的频率式中,p表示用户在当前使用时间段处理数据的频率,m表示用户使用服务器处理数据的总次数,若存在当前时间端用户处理数据的频率大于系统设定的阈值,则标记当前时间段,根据当前标记时间段设定分配周期,为当前用户分配节点和计算资源,反之则系统继续检测;

    16、步骤s22:调取用户历史数据处理记录,识别每次处理数据总量和,剔除数据总量中的做大值与最小值,通过公式计算用户历史处理数据总量的偏离系数式中,i=1,2,3......n,q表示用户历史处理数据总量的偏离系数,g表示用户每次处理数据总量,表示用户历史处理数据总量的平均值,检测当前服务器中剩余的计算资源量,若剩余资源量大于阈值时,则为节点分配体量的计算资源,反之则为节点分配体量的计算资源;

    17、步骤s23:调取处理过程中的数据变化量,分析待处理数据的变化量,根据分析结果分配对应的处理节点和调整处理节点的计算资源波动。

    18、根据上述技术方案,所述步骤s23中调取历史数据,设定固定识别周期,根据识别周期识别用户每次处理数据过程中数据的变化特征,根据数据的变化特征绘制数据变化图,将历史处理数据的数据变化图进行融合,得到数据变化图谱,识别数据变化图谱中的数据变化量,当数据变化量大于系统阈值时,若数据变化量为数据量减少,则适当释放当前节点的计算资源,反之则调取资源会中的资源适当增加当前节点的计算资源,当数据变化量小于系统阈值时,则系统继续检测。

    19、根据上述技术方案,所述步骤s3进一步包括以下步骤:

    20、步骤s31:调取当前节点的运行数据,识别当前节点的节点容量占用量,通过公式计算当前节点的负载率式中,f表示当前节点的负载率,d表示当前节点容量的占用量,w表示当前节点的节点容量,若当前节点的负载率大于系统阈值,则识别邻近空闲节点,调取邻近空闲节点的节点容量对当前节点进行补充,反之则通过公式计算当前节点能够释放的节点容量s=(1-f)·w·α,式中,s表示当前节点能够释放的节点容量,α表示当前节点释放节点容量的平衡系数;

    21、步骤s32:调取当前节点的运行数据,识别待处理数据的传输速度ν1和节点的数据处理速度ν2,对比数据传输速度和节点数据处理速度,当数据传输速度与节点数据处理速度的差值小于阈值时,则系统继续检测,当数据传输速度与节点数据处理速度的差值大于阈值时,则计算ν1-ν2的值,若ν1-ν2的差值为负数,则调取资源池中的计算资源进行补充,反之则将多余的计算资源进行释放,将其释放回资源池。

    22、根据上述技术方案,所述步骤s4进一步包括以下步骤:

    23、步骤s41:调取用户传输的数据,识别数据类型,根据数据类型检索历史数据库,调取当前数据类型数据量对应的计算资源量,给出该数据类型对数据量占用计算资源的影响系数β;

    24、步骤s42:识别用户传输的数据量,通过公式计算当前节点数据所需的计算资源量k=y·μ·β,式中,k表示当前节点数据所需的计算资源量,y表示当前节点待处理数据量,μ表示当前数据量对应的固定计算资源量,对比系统预分配的计算资源量,当预分配资源量大于需求资源量时,则将多余的计算资源进行释放,使其回归资源池,当分配资源量小于需求资源量时,则调取资源池中的资源对节点进行补偿。

    25、与现有技术相比,本发明所达到的有益效果是:本发明,通过分析用户使用服务器处理数据频率最高的时间段,能够为用户预分配节点和计算资源,避免节点资源不足使节点处理速度降低,进而减少处理时间,提高系统处理效率,通过分析用户处理数据总量的偏离系数,并根据当前处理器的资源余量为节点分配计算资源,能够更加准确为用户分配计算资源,减少待处理数据等待资源的时间,极大地提高了系统的处理效率,通过分析数据变化特征绘制数据变化图谱,并根据数据变化图谱调整节点的计算资源,能够降低被动检测方法的滞后性,进而减少资源调度的等待时间,减少数据处理时间,极大地提高了系统的处理速度,通过实时分析当前节点的负载率,并根据分析结果对当前节点的节点容量进行调整,能够保障当前节点不会占用多余的节点资源,做到资源平衡,同时能够保障当前节点不会由于节点资源不足,导致数据处理缓慢,进一步提高资源利用率和系统处理速度,通过再次分析数据传输速度和数据处理速度,并对节点的计算资源进行调节,能够保障节点集群中各个节点都能够有足够的计算资源进行处理数据,并且保障节点无法占用富余的计算资源,进而大大提高资源利用率,通过实时分析待处理数据所需的数据量,根据分析结果调整节点的计算资源分配,能够避免节点计算资源不足,导致处理速度下降,同时也能保障节点分配的计算资源完全足够节点快速处理数据,避免节点占用计算资源,导致其他节点无法分配足够的节点,极大地提高了资源利用率和系统处理效率。


    技术特征:

    1.一种基于云计算的资源分配策略优化管理系统,包括数据收集模块、资源管理模块和资源优化模块,其特征在于:所述数据收集模块用于收集节点的运行数据、用户的使用记录和将待处理数据录入系统,所述资源管理模块用于根据用户的使用习惯为待处理数据分配处理节点,并分析节点负载对节点资源进行调度,所述资源优化模块用于识别用户对服务器资源的占用情况并进行限制,分析用户端占用资源的使用率,根据分析结果调整资源,所述数据收集模块、资源管理模块和资源优化模块相互通讯连接;

    2.根据权利要求1所述的一种基于云计算的资源分配策略优化管理系统,其特征在于:所述数据收集模块包括节点运行数据采集模块、用户使用记录收集模块和数据录入模块,所述节点运行数据采集模块用于收集处理节点的资源占用数据、节点负载和节点资源使用情况,所述用户使用记录收集模块用于收集用户的使用习惯、使用模式和处理数据信息,所述数据录入模块用于将待处理数据录入系统。

    3.根据权利要求2所述的一种基于云计算的资源分配策略优化管理系统,其特征在于:所述资源管理模块包括节点分配模块,所述节点分配模块用于分析用户的使用习惯和待处理数据的大小分配节点及节点资源。

    4.根据权利要求3所述的一种基于云计算的资源分配策略优化管理系统,其特征在于:所述资源管理模块还包括节点优化模块,所述节点优化模块用于分析节点的负载情况并根据节点的负载情况调度资源进行补充。

    5.根据权利要求4所述的一种基于云计算的资源分配策略优化管理系统,其特征在于:所述资源优化模块包括需求分析子模块和资源调模块,所述需求分析子模块用于分析处理数据所需的资源,所述资源调整子模块用于将多余的资源放入系统资源池。

    6.根据权利要求5所述的一种基于云计算的资源分配策略优化管理方法,其特征在于:所述资源分配策略优化管理方法主要包括以下步骤:

    7.根据权利要求6所述的一种基于云计算的资源分配策略优化管理方法,其特征在于:所述步骤s2进一步包括以下步骤:

    8.根据权利要求7所述的一种基于云计算的资源分配策略优化管理方法,其特征在于:所述步骤s23中调取历史数据,设定固定识别周期,根据识别周期识别用户每次处理数据过程中数据的变化特征,根据数据的变化特征绘制数据变化图,将历史处理数据的数据变化图进行融合,得到数据变化图谱,识别数据变化图谱中的数据变化量,当数据变化量大于系统阈值时,若数据变化量为数据量减少,则适当释放当前节点的计算资源,反之则调取资源会中的资源适当增加当前节点的计算资源,当数据变化量小于系统阈值时,则系统继续检测。

    9.根据权利要求8所述的一种基于云计算的资源分配策略优化管理方法,其特征在于:所述步骤s3进一步包括以下步骤:

    10.根据权利要求9所述的一种基于云计算的资源分配策略优化管理方法,其特征在于:所述步骤s4进一步包括以下步骤:


    技术总结
    本发明公开了一种基于云计算的资源分配策略优化管理系统,包括数据收集模块、资源管理模块和资源优化模块,其特征在于:所述数据收集模块用于收集节点的运行数据、用户的使用记录和将待处理数据录入系统,所述资源管理模块用于根据用户的使用习惯为待处理数据分配处理节点,并分析节点负载对节点资源进行调度,所述资源优化模块用于识别用户对服务器资源的占用情况并进行限制,分析用户端占用资源的使用率,根据分析结果调整资源,所述数据收集模块、资源管理模块和资源优化模块相互通讯连接,数据收集模块包括节点运行数据采集模块、用户使用记录收集模块和数据录入模块,本发明,具有提高资源利用率和处理效率的特点。

    技术研发人员:林剑领
    受保护的技术使用者:浙江安防职业技术学院
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-38498.html

    最新回复(0)