本发明涉及内存功耗监测系统,尤其涉及一种高性能计算集群内存功耗监测系统。
背景技术:
1、当前,高性能计算集群在大规模数据处理和复杂计算任务中发挥着关键作用。然而,随着计算任务的不断增加,集群内存功耗监测成为一项重要挑战。传统的功耗监测方法往往依赖于人工检测或简单的监测设备,存在监测精度不高、实时性不强的问题,无法满足集群运行过程中对功耗监测的需求。为解决这一问题,需要开发一种高性能计算集群内存功耗监测系统。以提高监测精准度。
2、中国专利公开号:cn105607726a。公开了一种降低高性能计算集群内存功耗的方法及装置,该方法包括:实时监测高性能计算集群的运行状况;对高性能计算集群正在运行的作业类型进行分析,确定高性能计算集群正在运行的作业的内存容错机制;获取所述内存容错机制的容错级别,依据所述容错级别对高性能计算集群的内存功耗进行分配。但是,现有技术中存在高性能计算集群内存功耗监测系统的监测精准度低的问题。
技术实现思路
1、为此,本发明提供一种高性能计算集群内存功耗监测系统,用以克服现有技术中高性能计算集群内存功耗监测系统的精准度低的问题。
2、为实现上述目的,本发明提供一种高性能计算集群内存功耗监测系统,包括:
3、数据获取模块,其用以获取待存储任务的存储数据;
4、任务分配模块,其与所述数据获取模块连接,用以分配所述待存储任务为若干子任务;
5、配合程度检测模块,其与所述任务分配模块连接,用以基于若干子任务调用的计算节点确定调用过程的配合程度的合格性;
6、磁盘分析模块,其用以分析单个分区内的分区占用情况,其包括用以存储所述若干子任务的内存分区的磁盘存储单元,用以调节不能存储进所述磁盘存储单元的内存片段的调节单元;
7、磁盘处理模块,其与所述磁盘分析模块连接,用以对所述磁盘分析模块分析后的内存片段进行处理。
8、进一步地,所述配合程度检测模块用以根据若干计算节点的配合程度评价值与预设计算节点配合程度评价值进行对比确定所述调用过程的配合程度的合格性;
9、若所述若干计算节点的配合程度评价值大于所述预设计算节点配合程度评价值,则确定所述调用过程的配合程度合格;
10、若所述若干计算节点的配合程度评价值小于所述预设计算节点配合程度评价值,则确定所述调用过程的配合程度不合格。
11、所述磁盘分析模块在所述若干计算节点的配合程度不合格的条件下,对目标磁盘进行分析以确定所述目标磁盘是否存在与单个子任务匹配的磁盘分区,
12、若所述磁盘分区的内存大于所述单个子任务的数据量的预设比例,所述磁盘分析模块确定所述磁盘分区与所述单个子任务匹配,同时将所述单个子任务对应的存储数据进行存储。
13、进一步地,所述磁盘分析模块确定所述目标磁盘执行存储的顺序,并确定所述目标磁盘中所述磁盘分区所处位置之前是否存在前置磁盘分区且前置磁盘分区的剩余内存大于所述单个子任务的数据量;
14、若存在前置磁盘分区的剩余内存大于所述单个子任务的数据量,则对所述前置磁盘分区进行处理;
15、若不存在前置磁盘分区的剩余内存大于所述单个子任务的数据量,则直接执行所述单个子任务的存储任务。
16、进一步地,所述磁盘分析模块对所述前置磁盘分区进行处理条件下,确定所述前置磁盘分区中是否存在前置存储数据,若不存在前置存储数据则执行隐藏相应前置磁盘分区,若存在前置存储数据,则对所述前置存储数据进行重要性分析。
17、进一步地,所述磁盘分析模块根据重要程度评价值与预设重要程度评价值的比对结果确定对所述前置磁盘分区进行处理的处理方式;
18、若所述重要程度评价值小于所述预设重要程度评价值,则所述磁盘处理模块确定以隐藏所述前置磁盘分区的前置存储数据;
19、若所述重要程度评价值大于所述预设重要程度评价值,则所述磁盘处理模块确定所述前置磁盘分区的前置存储数据进行覆盖。
20、进一步地,所述磁盘存储单元直接执行所述单个子任务的存储任务的条件下,确定所述单个子任务的数据量是否能直接放进目标磁盘分区,若所述单个子任务的数据量能直接放进前置磁盘分区则存储进所述前置磁盘分区,若所述单个子任务的数据量不能直接放进前置磁盘分区则对前置磁盘分区进行历史准确率分析。
21、进一步地,所述磁盘分析模块在所述单个子任务的数据量不能直接放进前置磁盘分区的条件下,根据历史准确率与预设历史准确率的对比结果确定是否对所述预设配合程度评价值进行调整;
22、若所述与单个子任务的数据量不能直接放进的前置磁盘分区的历史准确率大于或等于预设历史准确率,则确定对预设配合程度调整;
23、若所述与单个子任务的数据量不能直接放进的前置磁盘分区的历史准确率小于预设历史准确率,则确定不对预设配合程度调整。
24、进一步地,所述磁盘分析模块在确定执行存储任务条件下,确定所述单个子任务的存储流畅程度评价值以确定所述单个子任务的存储是否达标;
25、若所述单个子任务的存储流畅程度评价值小于预设存储流畅程度评价值,则确定所述单个子任务的存储不达标,并切换存储节点,选取下一个磁盘分区;
26、若所述单个子任务的存储流畅程度评价值大于或等于预设存储流畅程度评价值,则确定所述单个子任务的存储达标。
27、进一步地,所述磁盘分析模块在确定所述单个子任务的存储不达标且切换存储节点的条件下,根据历史数据丢失率与预设历史数据丢失率的对比结果确定所述单个子任务在所述存储节点的稳定性是否达标;
28、若所述历史数据丢失率小于或等于所述预设历史数据丢失率,则确定所述单个子任务在所述存储节点的稳定性达标;
29、若所述历史数据丢失率大于所述预设历史数据丢失率,则确定所述单个子任务在所述存储节点的稳定性不达标。
30、进一步地,所述磁盘分析单元在确定所述单个子任务在所述存储节点的稳定性不达标的条件下,调节单元根据所述历史数据丢失率与所述预设历史数据丢失率的差值与预设差值的对比结果确定调节方式;
31、若所述差值小于或等于所述预设差值,则确定增加所述单个子任务的数据量的预设比例;
32、若所述差值大于所述预设差值,则确定增加预设配合程度评价值。
33、与现有技术相比,本发明的有益效果在于,本发明通过配合程度检测模块根据计算节点的配合程度评价值与预设计算节点配合程度评价值比较,确定调用过程中计算节点的合格性。通过评估计算节点的配合程度,提高了计算节点之间的协作效率。
34、进一步地,通过配合程度检测模块根据计算节点的配合程度评价值与预设计算节点配合程度评价值比较,确定调用过程中计算节点的合格性。通过评估计算节点的配合程度,提高了计算节点之间的协作效率和监测系统的精准度。
35、进一步地,对于不能直接存储进目标磁盘分区单个子任务的数据量,进行历史准确率分析,根据预设历史数据准确率与历史数据准确率的差值,增加预设配合程度评价值,根据计算存储流畅程度评价值,以确定存储任务是否达标,若存储任务不达标,则切换存储节点,并根据历史数据丢失率大于所述预设历史数据丢失率,则确定所述单个子任务在所述存储节点的稳定性不达标。通过判定稳定性有助于提高监测系统的稳定性和准确率。
36、进一步地,磁盘分析单元在稳定性不达标情况下的调节方法,根据历史数据丢失率与预设历史数据丢失率的差值确定增加单个子任务的数据量的预设比例或增加预设配合程度评价值。通过调节,系统可以有效提高监测精准度。
1.一种高性能计算集群内存功耗监测系统,其特征在于,包括:
2.根据权利要求1所述的高性能计算集群内存功耗监测系统,其特征在于,所述配合程度检测模块根据计算节点的配合程度评价值与预设计算节点配合程度评价值比较,确定调用过程中计算节点的合格性,在配合程度不合格情况下,磁盘分析模块分析目标磁盘,确认是否存在与单个子任务匹配的磁盘分区。
3.根据权利要求2所述的高性能计算集群内存功耗监测系统,其特征在于,所述磁盘分析模块确定所述目标磁盘执行存储的顺序,并确定所述目标磁盘中所述磁盘分区所处位置之前是否存在前置磁盘分区且前置磁盘分区的剩余内存大于所述单个子任务的数据量,并确定存在前置磁盘分区的剩余内存大于所述单个子任务的数据量,对所述前置磁盘分区进行处理,确定不存在前置磁盘分区的剩余内存大于所述单个子任务的数据量,直接执行所述单个子任务的存储任务。
4.根据权利要求3所述的高性能计算集群内存功耗监测系统,其特征在于,所述磁盘分析模块对所述前置磁盘分区进行处理条件下,确定所述前置磁盘分区中是否存在前置存储数据,若不存在前置存储数据则执行隐藏相应前置磁盘分区,若存在前置存储数据,则对所述前置存储数据进行重要性分析。
5.根据权利要求4所述的高性能计算集群内存功耗监测系统,其特征在于,所述磁盘分析模块根据重要程度评价值与预设重要程度评价值的比对结果确定对所述前置磁盘分区进行处理的处理方式,若所述重要程度评价值小于所述预设重要程度评价值,则所述磁盘处理模块确定以隐藏所述前置磁盘分区的前置存储数据,若所述重要程度评价值大于所述预设重要程度评价值,则所述磁盘处理模块确定所述前置磁盘分区的前置存储数据进行覆盖。
6.根据权利要求5所述的高性能计算集群内存功耗监测系统,其特征在于,所述磁盘存储单元直接执行所述单个子任务的存储任务的条件下,确定所述单个子任务的数据量是否能直接放进目标磁盘分区。
7.根据权利要求6所述的高性能计算集群内存功耗监测系统,其特征在于,所述磁盘分析模块在所述单个子任务的数据量不能直接放进前置磁盘分区的条件下,根据历史准确率与预设历史准确率的对比结果确定是否对所述预设配合程度评价值进行调整。
8.根据权利要求7所述的高性能计算集群内存功耗监测系统,其特征在于,所述磁盘分析模块在确定执行存储任务条件下,确定所述单个子任务的存储流畅程度评价值以确定所述单个子任务的存储是否达标。
9.根据权利要求8所述的高性能计算集群内存功耗监测系统,其特征在于,所述磁盘分析模块在确定所述单个子任务的存储不达标且切换存储节点的条件下,根据历史数据丢失率与预设历史数据丢失率的对比结果确定所述单个子任务在所述存储节点的稳定性是否达标。
10.根据权利要求9所述的高性能计算集群内存功耗监测系统,其特征在于,所述磁盘分析单元在确定所述单个子任务在所述存储节点的稳定性不达标的条件下,调节单元根据所述历史数据丢失率与所述预设历史数据丢失率的差值与预设差值的对比结果确定增加所述单个子任务的数据量的预设比例或增加预设配合程度评价值。