数据处理方法、装置、电子设备及存储介质与流程

    技术2026-07-13  19


    本申请涉及大数据,尤其涉及一种数据处理方法、装置、电子设备及存储介质。


    背景技术:

    1、kafka,是一种分布式发布订阅消息系统,用于构建实时数据管道和流应用程序。它可以处理大量的数据,并允许用户在系统中进行实时处理。

    2、目前,基于kafka进行数据处理的具体过程为:当存在一个数据处理需求时,在前期的准备工作中,开发人员根据需求向前端人员告知需要采集哪些数据。前端人员在生成这些数据的位置处埋点,并将该位置与kafka建立连接,以便这些数据产生后,kafka能够收集到这些数据。开发人员基于需求编写包含有数据处理逻辑的代码。在数据处理过程中,数据产生,kafka收集这些数据,并通过运行代码,使得这些数据按照需求被处理,进而输出数据处理后的结果。最后,治理人员还需要将kafka中的这些数据进行统一管理,即记录类别并按照类别存储相应的数据。

    3、但是,当采集数据的需求发生变化时,变化后的需求只通知到开发人员,使开发人员根据变化后的需求调整代码中的逻辑,进而使调整逻辑后的代码能够处理变化后的数据。治理人员无法在第一时间获知需求的变化。在需求发生变化后的一段时间内,治理人员仍然是对变化前的需求对应的数据进行管理。并且,kafka中的数据以文本的形式存在,不像关系型数据库中的数据那样按照预定格式存储,kafka按照变化后的需求收集的数据与kafka中的其他数据都集中在文本信息中,文本信息中的数据量巨大,治理人员通过查看文本信息也不会直接发现kafka收集的数据是否产生变化。这样,就会降低对kafka中数据管理的准确性。


    技术实现思路

    1、本申请实施例的目的是提供一种数据处理方法、装置、电子设备及存储介质,以提高对非关系型数据系统中数据管理的准确性。

    2、为解决上述技术问题,本申请实施例提供如下技术方案:

    3、本申请第一方面提供一种数据处理方法,所述方法包括:获取待处理的目标数据;将所述目标数据输入预设数据处理模型,得到处理结果,所述预设数据处理模型是基于开发侧确定的数据标准构建的;反馈所述处理结果,以使治理侧基于所述处理结果进行数据治理。

    4、本申请第二方面提供一种数据处理装置,所述装置包括:获取模块,用于获取待处理的目标数据;处理模块,用于将所述目标数据输入预设数据处理模型,得到处理结果,所述预设数据处理模型是基于开发侧确定的数据标准构建的;反馈模块,用于反馈所述处理结果,以使治理侧基于所述处理结果进行数据治理。

    5、本申请第三方面提供一种电子设备,所述电子设备包括:处理器、存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行第一方面中的方法。

    6、本申请第四方面提供一种计算机可读存储介质,所述存储包括:存储的程序;其中,在所述程序运行时控制所述存储介质所在设备执行第一方面中的方法。

    7、相较于现有技术,本申请第一方面提供的数据处理方法,在获取到待处理的目标数据后,将目标数据输入预设数据处理模型,得到处理结果,并反馈处理结果,以使治理侧基于处理结果进行数据治理。由于预设数据处理模型是基于开发侧确定的数据标准构建的,即便数据需求发生改变,治理侧治理的也是变化后的需求对应的数据,提高非关系型数据系统中数据管理的准确性。

    8、本申请第二方面提供的数据处理装置、第三方面提供的电子设备、第四方面提供的计算机可读存储介质,与第一方面提供的数据处理方法具有相同或相似的有益效果。



    技术特征:

    1.一种数据处理方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,在获取待处理的目标数据之前,所述方法还包括,通过以下步骤构建所述预设数据处理模型:

    3.根据权利要求1所述的方法,其特征在于,所述开发侧确定的数据标准包括:支持的数据类型、数据格式和建表方式。

    4.根据权利要求1所述的方法,其特征在于,所述获取待处理的目标数据,包括:

    5.根据权利要求1所述的方法,其特征在于,在获取待处理的目标数据之后,所述方法还包括:

    6.根据权利要求1所述的方法,其特征在于,在得到处理结果之后,所述方法还包括以下至少一种:

    7.根据权利要求1所述的方法,其特征在于,在获取待处理的目标数据之后,所述方法还包括:

    8.根据权利要求1所述的方法,其特征在于,在获取待处理的目标数据之后,所述方法还包括:

    9.根据权利要求1所述的方法,其特征在于,在得到处理结果之后,所述方法还包括:

    10.一种数据处理装置,其特征在于,所述装置包括:

    11.一种电子设备,其特征在于,所述电子设备包括:处理器、存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1至9中任一项所述的方法。

    12.一种计算机可读存储介质,其特征在于,所述存储介质包括:存储的程序;其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1至9中任一项所述的方法。


    技术总结
    本申请提供一种数据处理方法、装置、电子设备及存储介质,数据处理方法包括:获取待处理的目标数据;将目标数据输入预设数据处理模型,得到处理结果,预设数据处理模型是基于开发侧确定的数据标准构建的;反馈处理结果,以使治理侧基于处理结果进行数据治理。由于预设数据处理模型是基于开发侧确定的数据标准构建的,即便数据需求发生改变,治理侧治理的也是变化后的需求对应的数据,提高非关系型数据系统中数据管理的准确性。

    技术研发人员:冯忠田,鞠道霈,杨倩琳,蒋勇,徐彪,邵锐,邢云飞,顾静玲,邹品洛巍
    受保护的技术使用者:奇安信科技集团股份有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-45174.html

    最新回复(0)