本申请涉及云管理平台,尤其涉及一种实时数据稽核方法、装置、设备、存储介质及计算机程序产品。
背景技术:
1、随着计算机网络的发展,云计算的应用日益广泛。具体地,在智慧政务场景下的政务机构通过云管理平台开通云服务资源,用于处理大量数据。
2、其中云管理平台是建立在云架构及资源、服务之上的统一云业务云服务的综合管控平台,云管理平台的实施通常需向上对接客户侧业务申请平台,以及向下对接云服务商云平台。即云服务资源的申请流程涉及云管理平台、客户侧业务申请平台以及云服务商云平台,而其中存在三方平台的资源数据不一致的问题,云管理平台通常是设置相应的稽核程序对其资源数据进行稽核,以保证三方平台的资源数据的一致性。
3、相关技术中通常是通过人工将采集的三方平台的资源数据导入预构建的稽核脚本,再基于预构建的稽核脚本,对资源数据进行分析和比对,输出差异数据,最终通过人工分析定位问题源,从而实现资源数据的稽核。但是在涉及云管平台所纳管的云平台数量多的场景,即一个云管平台对多个云平台数据进行稽核时,采集的资源数据量庞大,通过人工的方式将庞大数据量的资源数据导入稽核脚本的时间长,并且通过人工的方式也需要耗费大量时间定位问题源,导致数据稽核的效率低下。
技术实现思路
1、本申请的主要目的在于提供一种实时数据稽核方法、装置、设备、存储介质及计算机程序产品,旨在解决现有技术中数据稽核的效率低下的技术问题。
2、为实现以上目的,本申请提供一种实时数据稽核方法,所述实时数据稽核方法包括:
3、实时采集待稽核数据;
4、对所述待稽核数据进行拆分,得到拆分后的待稽核数据,并将所述拆分后的待稽核数据分配至预设数量的数据处理节点;
5、通过所述数据处理节点,对所述拆分后的待稽核数据进行自动化的稽核比对,得到所述待稽核数据的汇总数据表,其中,所述汇总数据表整合有各数据处理节点的稽核结果。
6、可选地,所述对所述待稽核数据进行拆分,得到拆分后的待稽核数据,并将所述拆分后的待稽核数据分配至预设数量的数据处理节点的步骤,包括:
7、基于预设的分布式数据采集集群,对所述待稽核数据进行数据拆分,得到行数据和列数据,其中,所述行数据包括待稽核数据的字段信息,列数据包括待稽核数据的属性信息;
8、将所述行数据和所述列数据划分为预设第一数量的子任务,并将所述子任务分配至所述分布式数据采集集群下的相应所述第一数量的数据处理节点。
9、可选地,所述通过所述数据处理节点,对所述拆分后的待稽核数据进行自动化的稽核比对,得到所述待稽核数据的汇总数据表的步骤,包括:
10、基于预设的字段定义规则,通过各所述数据处理节点,对所述行数据和所述列数据进行自动化的稽核比对,得到各数据处理节点的稽核结果;
11、将各数据处理节点的稽核结果进行整合,得到所述待稽核数据的汇总数据表。
12、可选地,所述基于预设的字段定义规则,通过各所述数据处理节点,对所述行数据和所述列数据进行自动化的稽核比对,得到各数据处理节点的稽核结果的步骤,包括:
13、基于预设的字段定义规则,通过各所述数据处理节点,对所述行数据进行相似度计算,得到所述行数据的相似度结果;
14、基于所述相似度结果,划分多个待稽核比对的数据块;
15、将所述数据块下的列数据进行稽核比对,得到各数据处理节点的稽核结果。
16、可选地,所述通过所述数据处理节点,对所述拆分后的待稽核数据进行自动化的稽核比对,得到所述待稽核数据的汇总数据表的步骤之后,所述方法包括:
17、基于所述汇总数据表,确定待修正数据;
18、获取修正规则组;
19、基于所述修正规则组,对所述待修正数据执行自动化修正,得到修正结果。
20、可选地,所述基于所述修正规则组,对所述待修正数据执行自动化修正,得到修正结果的步骤,包括:
21、将所述修正规则组拆分为预设第二数量的修正规则;
22、将所述修正规则分配至所述分布式数据采集集群下的数据处理节点,并通过各所述数据处理节点以及各所述数据处理节点下的修正规则,对所述待修正数据并行的执行自动化修正,得到修正结果,其中,各所述数据处理节点包括至少一个修正规则。
23、可选地,所述获取修正规则组的步骤,包括:
24、获取业务需求,其中,所述业务需求包括业务场景;
25、基于所述业务需求,确定数据修正类型;
26、生成相应所述数据修正类型的修正规则,并基于所述修正规则,组成相应的修正规则组,其中,所述修正规则符合所述业务场景。
27、本申请还提供一种实时数据稽核装置,所述实时数据稽核装置包括:
28、采集模块,用于实时采集待稽核数据;
29、拆分模块,用于对所述待稽核数据进行拆分,得到拆分后的待稽核数据,并将所述拆分后的待稽核数据分配至预设数量的数据处理节点;
30、稽核模块,用于通过所述数据处理节点,对所述拆分后的待稽核数据进行自动化的稽核比对,得到所述待稽核数据的汇总数据表,其中,所述汇总数据表整合有各数据处理节点的稽核结果。
31、本申请还提供一种实时数据稽核设备,所述实时数据稽核设备包括:存储器、处理器以及存储在存储器上的用于实现所述实时数据稽核方法的程序,
32、所述存储器用于存储实现实时数据稽核方法的程序;
33、所述处理器用于执行实现所述实时数据稽核方法的程序,以实现所述实时数据稽核方法的步骤。
34、本申请还提供一种存储介质,所述存储介质上存储有实现实时数据稽核方法的程序,所述实现实时数据稽核方法的程序被处理器执行以实现所述实时数据稽核方法的步骤。
35、本申请还提供一种计算机程序产品,所述计算机程序产品包括实时数据稽核程序,所述实时数据稽核程序被处理器执行时实现如上文所述的实时数据稽核方法的步骤。
36、本申请将实时采集的待稽核数据进行拆分后,分配至预设数量的数据处理节点,再通过各数据处理节点并行计算能力,对所述拆分后的待稽核数据进行自动化稽核比对,实现实时的自动化数据稽核,以满足大数据高频写入场景下的数据采集以及稽核的需求,无需人工进行数据的导入以及问题源的定位,进而提高了数据稽核的效率。
1.一种实时数据稽核方法,其特征在于,所述实时数据稽核方法包括:
2.如权利要求1所述的实时数据稽核方法,其特征在于,所述对所述待稽核数据进行拆分,得到拆分后的待稽核数据,并将所述拆分后的待稽核数据分配至预设数量的数据处理节点的步骤,包括:
3.如权利要求2所述的实时数据稽核方法,其特征在于,所述通过所述数据处理节点,对所述拆分后的待稽核数据进行自动化的稽核比对,得到所述待稽核数据的汇总数据表的步骤,包括:
4.如权利要求3所述的实时数据稽核方法,其特征在于,所述基于预设的字段定义规则,通过各所述数据处理节点,对所述行数据和所述列数据进行自动化的稽核比对,得到各数据处理节点的稽核结果的步骤,包括:
5.如权利要求1所述的实时数据稽核方法,其特征在于,所述通过所述数据处理节点,对所述拆分后的待稽核数据进行自动化的稽核比对,得到所述待稽核数据的汇总数据表的步骤之后,所述方法包括:
6.如权利要求5所述的实时数据稽核方法,其特征在于,所述基于所述修正规则组,对所述待修正数据执行自动化修正,得到修正结果的步骤,包括:
7.一种实时数据稽核装置,其特征在于,所述实时数据稽核装置包括:
8.一种实时数据稽核设备,其特征在于,所述实时数据稽核设备包括:存储器、处理器以及存储在存储器上的用于实现所述实时数据稽核方法的程序,
9.一种存储介质,其特征在于,所述存储介质上存储有实现实时数据稽核方法的程序,所述实现实时数据稽核方法的程序被处理器执行以实现如权利要求1至6中任一项所述实时数据稽核方法的步骤。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括实时数据稽核程序,所述实时数据稽核程序被处理器执行时实现如权利要求1至6中任一项所述的实时数据稽核方法的步骤。