数据处理方法及系统与流程

    技术2026-07-26  15


    本说明书实施例涉及通信,特别涉及数据处理方法及系统。


    背景技术:

    1、随着互联网技术的发展,越来越多的业务开始线上化,而伴随着线上化业务的逐渐发展,其覆盖的业务范围以及所需要服务的用户群体将逐渐增大。为了能够向用户提供稳定的服务,服务器可以通过配置fpga设备的方式,自定义数据分发策略,以实现向fpga设备可以将所有业务相关数据传输至cpu进行处理,以实现cpu上运行的软件可以按照业务设定需求对数据进行分析,以将相关合约数据分配至特定的cpu核心进行后续处理。然而,现有技术在向cpu核心分发数据时,大多数采用单一的dma链接实现数据传输,这一处理方式存在严重的数据处理瓶颈,尤其是在数据量较大的服务场景下,会导致cpu处理速度受限,进而影响业务运行。因此亟需一种有效的方案以解决上述问题。


    技术实现思路

    1、有鉴于此,本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理系统,一种数据处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。

    2、根据本说明书实施例的第一方面,提供了一种数据处理方法,应用于服务器配置的多链接编程设备,包括:

    3、接收业务数据源推送的业务数据流,并在所述业务数据流中解析出目标用户数据;

    4、按照预设的数据筛选规则对所述目标用户数据进行处理,获得待分发数据;

    5、获取所述服务器对应数据处理集群的负载信息,以及所述待分发数据匹配的分发策略;

    6、基于所述分发策略和所述负载信息在所述数据处理集群中选择数据处理节点,并通过所述数据处理节点匹配的通信链接将所述待分发数据传输至所述数据处理节点进行处理。

    7、根据本说明书实施例的第二方面,提供了一种数据处理系统,所述数据处理系统包括多链接编程设备和数据处理集群,其中,所述数据处理集群中包含多个初始数据处理节点,包括:

    8、所述多链接编程设备,用于接收业务数据源推送的业务数据流,并在所述业务数据流中解析出目标用户数据;按照预设的数据筛选规则对所述目标用户数据进行处理,获得待分发数据;获取所述数据处理集群的负载信息,以及所述待分发数据匹配的分发策略;基于所述分发策略和所述负载信息在所述数据处理集群中选择数据处理节点,并通过所述数据处理节点匹配的通信链接将所述待分发数据传输至所述数据处理节点;

    9、所述数据处理节点,用于接收所述待分发数据,按照预设的业务规则对所述待分发数据进行处理。

    10、根据本说明书实施例的第三方面,提供了一种数据处理方法,应用于服务器配置的多链接编程设备,包括:

    11、接收模块,被配置为接收业务数据源推送的业务数据流,并在所述业务数据流中解析出目标用户数据;

    12、处理模块,被配置为按照预设的数据筛选规则对所述目标用户数据进行处理,获得待分发数据;

    13、获取模块,被配置为获取所述服务器对应数据处理集群的负载信息,以及所述待分发数据匹配的分发策略;

    14、选择模块,被配置为基于所述分发策略和所述负载信息在所述数据处理集群中选择数据处理节点,并通过所述数据处理节点匹配的通信链接将所述待分发数据传输至所述数据处理节点进行处理。

    15、根据本说明书实施例的第四方面,提供了一种计算设备,包括:

    16、存储器和处理器;

    17、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

    18、根据本说明书实施例的第五方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述数据处理方法的步骤。

    19、根据本说明书实施例的第六方面,提供了一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现上述数据处理方法的步骤。

    20、本实施例提供的数据处理方法,为了能够实现快速响应业务变化,且有效提升整体业务数据处理效率,可以在服务器配置多链接编程设备,实现在数据分发节点,可以在多链接编程设备接收到业务数据源推送的业务数据流后,从业务数据流中解析出目标用户数据;针对目标用户数据,可以先按照预设的数据筛选规则对目标用户数据进行处理,以根据处理结果筛选出目标用户数据中需要分发至数据处理节点进行处理的待分发数据;在此基础上,为了提高数据处理效率,可以通过获取服务器对应数据处理集群的负载信息,以及待分发数据匹配的分发策略的方式,进行待分发数据处理前的分发决策,进而实现基于分发策略和负载信息在数据处理集群中选择数据处理节点,在此基础上,即可通过数据处理节点匹配的通信链接将待分发数据传输至数据处理节点进行处理,实现结合分发策略和负载信息的方式平衡负载,避免部分数据处理节点过载,从而有效的提升了整体数据处理集群的处理效率。



    技术特征:

    1.一种数据处理方法,其特征在于,应用于服务器配置的多链接编程设备,包括:

    2.根据权利要求1所述的数据处理方法,其特征在于,所述接收业务数据源推送的业务数据流步骤执行之前,还包括:

    3.根据权利要求1所述的数据处理方法,其特征在于,所述在所述业务数据流中解析出目标用户数据,包括:

    4.根据权利要求1所述的数据处理方法,其特征在于,所述按照预设的数据筛选规则对所述目标用户数据进行处理,获得待分发数据,包括:

    5.根据权利要求1所述的数据处理方法,其特征在于,所述获取所述服务器对应数据处理集群的负载信息,以及所述待分发数据匹配的分发策略,包括:

    6.根据权利要求1至5任一项所述的数据处理方法,其特征在于,所述分发策略包括数据优先级划分信息、时间限制信息、资源请求信息;

    7.根据权利要求4所述的数据处理方法,其特征在于,所述按照预设的数据筛选规则对所述目标用户数据进行解压,获得解压用户数据,包括:

    8.根据权利要求1至5任一项所述的数据处理方法,其特征在于,所述获取所述服务器对应数据处理集群的负载信息,以及所述待分发数据匹配的分发策略步骤执行之后,还包括:

    9.一种数据处理系统,其特征在于,所述数据处理系统包括多链接编程设备和数据处理集群,其中,所述数据处理集群中包含多个初始数据处理节点,包括:

    10.一种计算设备,其特征在于,包括:

    11.一种计算机可读存储介质,其特征在于,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。

    12.一种计算机程序产品,其特征在于,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。


    技术总结
    本说明书实施例提供数据处理方法及系统,其中所述数据处理方法应用于服务器配置的多链接编程设备,包括:接收业务数据源推送的业务数据流,并在所述业务数据流中解析出目标用户数据;按照预设的数据筛选规则对所述目标用户数据进行处理,获得待分发数据;获取所述服务器对应数据处理集群的负载信息,以及所述待分发数据匹配的分发策略;基于所述分发策略和所述负载信息在所述数据处理集群中选择数据处理节点,并通过所述数据处理节点匹配的通信链接将所述待分发数据传输至所述数据处理节点进行处理。

    技术研发人员:杨彬,岳冉,杨剑军,周喆颋,朱振,邵俊奎
    受保护的技术使用者:恒生电子股份有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-45962.html

    最新回复(0)