本发明涉及气象卫星数据处理作业调度,尤其涉及一种气象卫星数据全流程优化调度的方法及系统。
背景技术:
1、随着科技进步和社会发展,气象卫星在天气预报、气候研究、自然灾害预警等方面发挥着越来越重要的作用。气象卫星是获取地球大气、云、水汽等数据的关键手段,这些数据对于提高气象预报的准确性和时效性至关重要。
2、目前,现有的气象数据处理调度技术在实际应用中仍存在一定的局限性。现有技术由于数据处理流程中的瓶颈节点未被有效识别和优化,导致整体处理效率低下,资源利用率不高,进一步影响了气象卫星数据产品处理的准确性和时效性。
技术实现思路
1、本发明的目的是提供一种气象卫星数据全流程优化调度的方法及系统,用以解决现有技术由于气象数据处理调度流程中的瓶颈节点未被有效识别和优化,导致整体处理效率低下,资源利用率不高,进一步影响了气象卫星数据产品处理的准确性和时效性。
2、鉴于上述问题,本发明提供了一种气象卫星数据全流程优化调度的方法及系统。
3、第一方面,本发明提供了一种气象卫星数据全流程优化调度的方法,所述一种气象卫星数据全流程优化调度的方法通过一种气象卫星数据全流程优化调度的系统实现,其中,所述一种气象卫星数据全流程优化调度的方法包括:连接气象数据处理模块,获得n个全流程任务处理节点,其中n为正整数;收集所述n个全流程任务处理节点的n个历史处理数据,根据所述n个历史处理数据,识别关键节点,所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集;根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束;获取任务需求,得到多个待执行的任务,评估所述多个待执行的任务的时效性、优先级以及处理复杂度,根据评估结果为每个待执行的任务匹配任务执行优先级,其中任务优先级可相同;根据所述协同调度约束和所述任务执行优先级,生成调度策略寻优空间;加载优化调度模型,根据所述任务需求生成多个任务调度策略;评估所述多个任务调度策略,根据评估结果在所述调度策略寻优空间中进行寻优,得到最优任务调度策略,根据所述最优任务调度策略进行任务调度。
4、第二方面,本发明还提供了一种气象卫星数据全流程优化调度的系统,用于执行如第一方面所述的一种气象卫星数据全流程优化调度的方法,其中,所述一种气象卫星数据全流程优化调度的系统包括:节点获取模块,用于连接气象数据处理模块,获得n个全流程任务处理节点,其中n为正整数;关键节点识别模块,用于收集所述n个全流程任务处理节点的n个历史处理数据,根据所述n个历史处理数据,识别关键节点,所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集;协同约束制定模块,用于根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束;优先级获取模块,用于获取任务需求,得到多个待执行的任务,评估所述多个待执行的任务的时效性、优先级以及处理复杂度,根据评估结果为每个待执行的任务匹配任务执行优先级,其中任务优先级可相同;寻优空间生成模块,用于根据所述协同调度约束和所述任务执行优先级,生成调度策略寻优空间;调度策略生成模块,用于加载优化调度模型,根据所述任务需求生成多个任务调度策略;寻优模块,用于评估所述多个任务调度策略,根据评估结果在所述调度策略寻优空间中进行寻优,得到最优任务调度策略,根据所述最优任务调度策略进行任务调度。
5、本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:
6、通过连接气象数据处理模块,获得n个全流程任务处理节点,其中n为正整数;收集所述n个全流程任务处理节点的n个历史处理数据,根据所述n个历史处理数据,识别关键节点,所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集;根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束;获取任务需求,得到多个待执行的任务,评估所述多个待执行的任务的时效性、优先级以及处理复杂度,根据评估结果为每个待执行的任务匹配任务执行优先级,其中任务优先级可相同;根据所述协同调度约束和所述任务执行优先级,生成调度策略寻优空间;加载优化调度模型,根据所述任务需求生成多个任务调度策略;评估所述多个任务调度策略,根据评估结果在所述调度策略寻优空间中进行寻优,得到最优任务调度策略,根据所述最优任务调度策略进行任务调度,有效解决了现有技术由于气象数据处理调度流程中的瓶颈节点未被有效识别和优化,导致整体处理效率低下,资源利用率不高,进一步影响了气象卫星数据产品处理的准确性和时效性,提高了整体处理效率,优化了资源分配,避免了资源浪费。
7、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。
1.一种气象卫星数据全流程优化调度的方法,其特征在于,包括:
2.如权利要求1所述的一种气象卫星数据全流程优化调度的方法,其特征在于,收集所述n个全流程任务处理节点的n个历史处理数据,根据所述n个历史处理数据,识别关键节点,所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集,还包括:
3.如权利要求1所述的一种气象卫星数据全流程优化调度的方法,其特征在于,根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束,还包括:
4.如权利要求1所述的一种气象卫星数据全流程优化调度的方法,其特征在于,根据所述协同调度约束和所述任务执行优先级,生成调度策略寻优空间,还包括:
5.如权利要求1所述的一种气象卫星数据全流程优化调度的方法,其特征在于,评估所述多个任务调度策略,根据评估结果在所述调度策略寻优空间中进行寻优,得到最优任务调度策略,根据所述最优任务调度策略进行任务调度,还包括:
6.如权利要求5所述的一种气象卫星数据全流程优化调度的方法,其特征在于,还包括:
7.如权利要求1所述的一种气象卫星数据全流程优化调度的方法,其特征在于,还包括:
8.一种气象卫星数据全流程优化调度的系统,其特征在于,用于实施权利要求1至7中任意一项所述一种气象卫星数据全流程优化调度的方法的步骤,所述一种气象卫星数据全流程优化调度的系统包括: