本发明涉及卫星数据监控,具体涉及一种气象卫星数据全流程监控的方法及系统。
背景技术:
1、随着卫星气象科学的不断发展和对卫星气象数据需求的日益增长,气象卫星在气象观测和预报中发挥着越来越重要的作用。气象卫星能够获取大量丰富的气象数据,然而,如何在从数据接收获取、传输、处理、存储、分发、服务等全业务流程中,有效地处理、分析和管理这些海量且复杂的数据,以确保其质量和可靠性,成为卫星气象领域面临的关键挑战。
2、风云地球服务系统是风云卫星遥感产品面向“国省市县”4级预报员的快速服务系统,它全面梳理完善风云卫星数据处理流程,构建全流程数据监控系统,实时输出的各类产品,并通过互联网以及多个专线渠道获取外源数据,实现海量多源异构数据的高效管理和在线实时计算,快速处理生成一线气象业务急需的高时效融合产品,并基于云+端的轻量级服务模式,将高质量数据产品实时推送直达预报员桌面,为预报员提供易用、好用、管用的数据产品。
3、而气象/遥感卫星地面系统的业务流程复杂,数据处理流水线较长,卫星观测数据,经星地链路、地面传输,并在地面系统数据处理中心经过解码汇集、预处理、产品生成、编目归档等多环节处理之后,才能为用户提供服务。
4、在传统的气象卫星数据处理系统中,各个流程关键节点之间的信息沟通和协同往往不够紧密,导致数据在流转过程中容易出现信息丢失、错误或延迟等问题。而且,由于数据量庞大、处理环节众多,对业务数据流的监控和有效性验证不够全面和及时,难以迅速发现潜在的问题和异常点。
5、现有技术存在着气象卫星数据处理缺乏全局性的数据质量管控机制,导致问题发现滞后、定位困难及系统间衔接不畅,进而影响整体处理效率和数据准确性的技术问题。
技术实现思路
1、本申请提供了一种气象卫星数据全流程监控的方法及系统,用于针对解决现有技术中气象卫星数据处理的效率和成功率低下,气象卫星地面系统可靠性不足和稳定性低的技术问题。
2、鉴于上述问题,本申请提供了一种气象卫星数据全流程监控的方法及系统。
3、本申请的第一个方面,提供了一种气象卫星数据全流程监控的方法,所述方法包括:
4、基于气象卫星地面系统,建立全流程关键节点的数据信息链,所述流程关键节点包括接收关键节点、传输关键节点、处理关键节点、分发关键节点;基于所述数据信息链,采集业务数据流信息,所述业务数据流信息为数据产品处理并行触发所得;在所述数据信息链上,结合所述业务数据流信息进行有效性验证,若验证通过,引入所述流程关键节点的运行业务状态;基于数据存储单元,汇总所述流程关键节点的运行业务状态、业务数据流信息,并通过大数据技术进行处理和分析,得到全流程数据质量报告;建立数据信息综合分析模型,对所述全流程数据质量报告进行深度分析,获取数据信息分析结果,所述数据信息分析结果包括潜在问题、异常点;基于所述数据信息分析结果,连接可视化报警平台,进行即时报警。
5、本申请的第二个方面,提供了基于机器学习的电网故障预测系统,所述系统包括:
6、数据信息链建立模块,所述数据信息链建立模块用于基于气象卫星地面系统,建立全流程关键节点的数据信息链,所述流程关键节点包括接收关键节点、传输关键节点、处理关键节点、分发关键节点;业务数据流信息采集模块,所述业务数据流信息采集模块基于所述数据信息链,采集业务数据流信息,所述业务数据流信息为数据产品处理并行触发所得;有效性验证模块,所述有效性验证模块用于在所述数据信息链上,结合所述业务数据流信息进行有效性验证,若验证通过,引入所述流程关键节点的运行业务状态;全流程数据质量报告获取模块,所述全流程数据质量报告获取模块基于数据存储单元,汇总所述流程关键节点的运行业务状态、业务数据流信息,并通过大数据技术进行处理和分析,得到全流程数据质量报告;数据信息分析结果获取模块,所述数据信息分析结果获取模块用于建立数据信息综合分析模型,对所述全流程数据质量报告进行深度分析,获取数据信息分析结果,所述数据信息分析结果包括潜在问题、异常点;即时报警模块,所述即时报警模块基于所述数据信息分析结果,连接可视化报警平台,进行即时报警。
7、本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
8、基于气象卫星地面系统,建立全流程关键节点的数据信息链,基于所述数据信息链,采集业务数据流信息,在所述数据信息链上,结合所述业务数据流信息进行有效性验证,若验证通过,引入所述流程关键节点的运行业务状态;基于数据存储单元,汇总所述流程关键节点的运行业务状态、业务数据流信息,得到全流程数据质量报告;建立数据信息综合分析模型,对所述全流程数据质量报告进行深度分析,获取数据信息分析结果,所述数据信息分析结果包括潜在问题、异常点;基于所述数据信息分析结果,连接可视化报警平台,进行即时报警。达到了提高数据处理的效率和精度,增强系统的可靠性和稳定性的技术效果。
1.一种气象卫星数据全流程监控的方法,其特征在于,所述方法包括:
2.如权利要求1所述的一种气象卫星数据全流程监控的方法,其特征在于,所述业务数据流信息包括数据接收状态、数据传输速率、数据处理效率、数据分发情况。
3.如权利要求2所述的一种气象卫星数据全流程监控的方法,其特征在于,所述流程关键节点的运行业务状态利用机器学习算法,自动识别异常业务状态;
4.如权利要求3所述的一种气象卫星数据全流程监控的方法,其特征在于,利用机器学习算法,自动识别异常业务状态,所述方法包括:
5.如权利要求1所述的一种气象卫星数据全流程监控的方法,其特征在于,连接可视化报警平台,进行即时报警,所述方法包括:
6.如权利要求5所述的一种气象卫星数据全流程监控的方法,其特征在于,在所述数据信息链上,结合所述业务数据流信息进行有效性验证,所述方法包括:
7.如权利要求6所述的一种气象卫星数据全流程监控的方法,其特征在于,所述方法包括:
8.一种气象卫星数据全流程监控的系统,其特征在于,所述系统包括: