一种数据处理方法、装置、设备及存储介质与流程

    技术2026-08-14  10


    本技术涉及数据分析领域,尤其涉及一种数据处理方法、装置、设备及存储介质。


    背景技术:

    1、随着科技的不断发展,越来越多的服务端设备可以基于客户端设备关联的数据库进行数据处理,例如,在资产管理领域中,服务端设备可以基于接收的来自客户端设备的数据处理指令,对客户端设备关联的数据库中存储的资产数据进行数据处理。

    2、相关技术中,数据处理的方法通常是,客户端设备选取按照客户端设备关联的数据库的数据处理语句的语法逻辑,执行数据处理指令的服务端设备为其提供资产管理服务;在接收来自客户端设备的数据处理指令时,基于数据处理指令,生成该数据库的数据处理语句;基于数据处理语句对该数据库中存储的资产数据进行数据处理,获得数据处理结果。

    3、然而,随着各客户端设备各自关联的数据库丰富多样,使得按照客户端设备关联的数据库的数据处理语句的语法逻辑执行数据处理指令的服务端设备的适用性较低,仅能够针对一种数据库进行数据处理,使得服务端设备数据处理过程中的处理局限性较大。

    4、可见,相关技术下的数据处理过程的处理局限性较大。


    技术实现思路

    1、本技术实施例提供了一种数据处理方法、装置、设备及存储介质,用于解决数据处理过程的处理局限性较大的问题。

    2、第一方面,提供一种数据处理方法,应用于按照第一处理逻辑执行数据库指令的资产服务节点,所述第一处理逻辑表征:针对第一数据库的数据处理语句的语法逻辑;所述方法包括:

    3、接收来自资产客户节点的交互连接指令;其中,所述交互连接指令用于:与所述资产服务节点建立数据交互连接,以通过所述数据交互连接指示所述资产服务节点基于所述资产客户节点关联的第二数据库进行数据处理;

    4、从预存的各个候选数据库各自对应的候选语法配置策略,获取所述第二数据库对应的目标语法配置策略;其中,所述目标语法配置策略用于:按照所述第一处理逻辑,编排针对所述第二数据库的数据处理语句;

    5、每当通过所述数据交互连接接收数据处理指令时,基于所述目标语法配置策略,为所述数据处理指令生成目标处理语句;

    6、基于获得的目标处理语句,对所述第二数据库中存储的资产数据进行数据处理,生成数据处理结果。

    7、可选的,所述基于所述目标语法配置策略,为所述数据处理指令生成目标处理语句,包括:

    8、从预存的多个处理策略集合中,确定所述数据处理指令指示的数据处理策略归属的目标策略集合;

    9、从所述目标策略集合包含的各处理策略各自关联的处理语句模板中,确定所述数据处理策略关联的目标语句模板;

    10、基于所述目标语句模板,为所述数据处理策略生成目标处理语句。

    11、可选的,所述目标策略集合为共享策略集合,所述共享策略集合包含的各处理策略各自关联的处理语句模板为共享语句模板;基于所述共享语句模板生成的数据处理语句,用于处理所述各个候选数据库中存储的资产数据;

    12、则所述从所述目标策略集合包含的各处理策略各自关联的处理语句模板中,确定所述数据处理策略关联的目标语句模板,包括:

    13、从所述各个候选数据库共同关联的共享存储地址中,获取所述共享策略集合包含的各处理策略各自关联的共享语句模板;

    14、从获得的各共享语句模板中,确定所述数据处理策略关联的目标语句模板。

    15、可选的,所述目标策略集合为兼容策略集合,所述兼容策略集合包含的各处理策略各自关联的处理语句模板为兼容语句模板;基于所述兼容语句模板生成的数据处理语句包含多个子语句,每个所述子语句为:针对所述第二数据库的数据处理语句。

    16、可选的,所述目标语句模板包含序号生成语句模板,所述序号生成语句模板包括用于生成时间差生成子语句的时间差生成语句模板、用于生成字段读取子语句的自增长字段读取语句模板和用于生成标识生成子语句的标识生成语句模板;

    17、则所述基于所述目标语句模板,为所述数据处理策略生成目标处理语句,包括:

    18、向所述时间差生成语句模板中添加接收所述数据处理指令时的指令接收时间,生成时间差生成子语句;其中,所述时间差生成子语句用于:生成以预设的参考时间为起始时间,以所述指令接收时间为结束时间的时间差;

    19、基于所述自增长字段读取语句模板,生成字段读取子语句;其中,所述字段读取子语句用于:读取所述第二数据库关联的自增长字段的取值;所述自增长字段表征所述自增长字段被读取的次数;

    20、基于所述标识生成语句模板,生成标识生成子语句;其中,所述标识生成子语句用于生成线程标识;所述线程标识用于唯一表征在同一时间请求生成序号的各线程;

    21、基于所述时间差生成子语句、所述字段读取子语句和所述标识生成子语句,生成目标处理语句。

    22、可选的,所述目标语句模板包含分页查询语句模板,所述分页查询语句模板包括用于生成数据表查询子语句的查询语句模板和用于生成数据筛选子语句的筛选语句模板;

    23、则所述基于所述目标语句模板,为所述数据处理策略生成目标处理语句,包括:

    24、向所述查询语句模板添加所述数据处理指令指示的目标数据表,生成数据表查询子语句;其中,所述数据表查询子语句用于:在所述第二数据库中查找所述目标数据表;

    25、向所述筛选语句模板添加所述数据处理指令指示的数据查询范围,生成数据筛选子语句;其中,所述数据筛选子语句用于在所述目标数据表中,选取属于所述数据查询范围内的数据;

    26、基于所述数据表查询子语句和所述数据筛选子语句,生成目标处理语句。

    27、可选的,所述目标策略集合为自定义策略集合,所述自定义策略集合包含的各处理策略各自关联的处理语句模板为自定义语句模板;所述自定义语句模板为:按照所述第一处理逻辑,采用脚本语言针对所述第二数据库预先编写的语句模板。

    28、第二方面,提供一种数据处理方法,应用于按照第一处理逻辑执行数据库指令的资产服务节点,所述第一处理逻辑表征:针对第一数据库的数据处理语句的语法逻辑;所述装置包括:

    29、获取模块:用于接收来自资产客户节点的交互连接指令;其中,所述交互连接指令用于:与所述资产服务节点建立数据交互连接,以通过所述数据交互连接指示所述资产服务节点基于所述资产客户节点关联的第二数据库进行数据处理;

    30、处理模块:用于从预存的各个候选数据库各自对应的候选语法配置策略,获取所述第二数据库对应的目标语法配置策略;其中,所述目标语法配置策略用于:按照所述第一处理逻辑,编排针对所述第二数据库的数据处理语句;

    31、所述处理模块还用于:每当通过所述数据交互连接接收数据处理指令时,基于所述目标语法配置策略,为所述数据处理指令生成目标处理语句;

    32、所述处理模块还用于:基于获得的目标处理语句,对所述第二数据库中存储的资产数据进行数据处理,生成数据处理结果。

    33、可选的,所述处理模块具体用于:

    34、从预存的多个处理策略集合中,确定所述数据处理指令指示的数据处理策略归属的目标策略集合;

    35、从所述目标策略集合包含的各处理策略各自关联的处理语句模板中,确定所述数据处理策略关联的目标语句模板;

    36、基于所述目标语句模板,为所述数据处理策略生成目标处理语句。

    37、可选的,所述目标策略集合为共享策略集合,所述共享策略集合包含的各处理策略各自关联的处理语句模板为共享语句模板;基于所述共享语句模板生成的数据处理语句,用于处理所述各个候选数据库中存储的资产数据;

    38、则所述处理模块具体用于:

    39、从所述各个候选数据库共同关联的共享存储地址中,获取所述共享策略集合包含的各处理策略各自关联的共享语句模板;

    40、从获得的各共享语句模板中,确定所述数据处理策略关联的目标语句模板。

    41、可选的,所述目标策略集合为兼容策略集合,所述兼容策略集合包含的各处理策略各自关联的处理语句模板为兼容语句模板;基于所述兼容语句模板生成的数据处理语句包含多个子语句,每个所述子语句为:针对所述第二数据库的数据处理语句。

    42、可选的,所述目标语句模板包含序号生成语句模板,所述序号生成语句模板包括用于生成时间差生成子语句的时间差生成语句模板、用于生成字段读取子语句的自增长字段读取语句模板和用于生成标识生成子语句的标识生成语句模板;

    43、则所述处理模块具体用于:

    44、向所述时间差生成语句模板中添加接收所述数据处理指令时的指令接收时间,生成时间差生成子语句;其中,所述时间差生成子语句用于:生成以预设的参考时间为起始时间,以所述指令接收时间为结束时间的时间差;

    45、基于所述自增长字段读取语句模板,生成字段读取子语句;其中,所述字段读取子语句用于:读取所述第二数据库关联的自增长字段的取值;所述自增长字段表征所述自增长字段被读取的次数;

    46、基于所述标识生成语句模板,生成标识生成子语句;其中,所述标识生成子语句用于生成线程标识;所述线程标识用于唯一表征在同一时间请求生成序号的各线程;

    47、基于所述时间差生成子语句、所述字段读取子语句和所述标识生成子语句,生成目标处理语句。

    48、可选的,所述目标语句模板包含分页查询语句模板,所述分页查询语句模板包括用于生成数据表查询子语句的查询语句模板和用于生成数据筛选子语句的筛选语句模板;

    49、则所述处理模块具体用于:

    50、向所述查询语句模板添加所述数据处理指令指示的目标数据表,生成数据表查询子语句;其中,所述数据表查询子语句用于:在所述第二数据库中查找所述目标数据表;

    51、向所述筛选语句模板添加所述数据处理指令指示的数据查询范围,生成数据筛选子语句;其中,所述数据筛选子语句用于在所述目标数据表中,选取属于所述数据查询范围内的数据;

    52、基于所述数据表查询子语句和所述数据筛选子语句,生成目标处理语句。

    53、可选的,所述目标策略集合为自定义策略集合,所述自定义策略集合包含的各处理策略各自关联的处理语句模板为自定义语句模板;所述自定义语句模板为:按照所述第一处理逻辑,采用脚本语言针对所述第二数据库预先编写的语句模板。

    54、第三方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的方法。

    55、第四方面,提供一种计算机设备,包括:

    56、存储器,用于存储程序指令;

    57、处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如第一方面所述的方法。

    58、第五方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的方法。

    59、本技术实施例中,在接收交互连接指令,建立资产服务节点和资产客户节点之间的数据交互连接,从而资产服务节点可以基于资产客户节点关联的第二数据库进行数据处理,使得资产服务节点可以支持异构数据库,可以为关联不同数据库的资产客户节点提供数据处理服务,降低服务端设备数据处理过程中的处理局限性。

    60、进一步的,在建立数据交互连接之后,资产服务节点从预存的各个候选数据库各自对应的候选语法配置策略中,获取第二数据库对应的目标语法配置策略。每当通过数据交互连接接收数据处理指令时,可以基于获得的目标语法配置策略,按照第一数据库的第一处理逻辑,编排针对第二数据库的数据处理语句,从而为数据处理指令生成目标处理语句。使得资产服务节点可以按照第一处理逻辑,执行针对第二数据库的数据处理语句,达到支持异构数据库的目的。不同的数据库只需要为其设置相应的候选语法配置策略,不需要改造整个资产服务节点,降低了支持异构数据库的处理难度,降低服务端设备数据处理过程中的处理局限性。


    技术特征:

    1.一种数据处理方法,其特征在于,应用于按照第一处理逻辑执行数据库指令的资产服务节点,所述第一处理逻辑表征:针对第一数据库的数据处理语句的语法逻辑;所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述基于所述目标语法配置策略,为所述数据处理指令生成目标处理语句,包括:

    3.根据权利要求2所述的方法,其特征在于,所述目标策略集合为共享策略集合,所述共享策略集合包含的各处理策略各自关联的处理语句模板为共享语句模板;基于所述共享语句模板生成的数据处理语句,用于处理所述各个候选数据库中存储的资产数据;

    4.根据权利要求2所述的方法,其特征在于,所述目标策略集合为兼容策略集合,所述兼容策略集合包含的各处理策略各自关联的处理语句模板为兼容语句模板;基于所述兼容语句模板生成的数据处理语句包含多个子语句,每个所述子语句为:针对所述第二数据库的数据处理语句。

    5.根据权利要求4所述的方法,其特征在于,所述目标语句模板包含序号生成语句模板,所述序号生成语句模板包括用于生成时间差生成子语句的时间差生成语句模板、用于生成字段读取子语句的自增长字段读取语句模板和用于生成标识生成子语句的标识生成语句模板;

    6.根据权利要求4所述的方法,其特征在于,所述目标语句模板包含分页查询语句模板,所述分页查询语句模板包括用于生成数据表查询子语句的查询语句模板和用于生成数据筛选子语句的筛选语句模板;

    7.根据权利要求2所述的方法,其特征在于,所述目标策略集合为自定义策略集合,所述自定义策略集合包含的各处理策略各自关联的处理语句模板为自定义语句模板;所述自定义语句模板为:按照所述第一处理逻辑,采用脚本语言针对所述第二数据库预先编写的语句模板。

    8.一种数据处理装置,其特征在于,应用于按照第一处理逻辑执行数据库指令的资产服务节点,所述第一处理逻辑表征:针对第一数据库的数据处理语句的语法逻辑;所述装置包括:

    9.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1~7中任一项所述的方法。

    10.一种计算机设备,其特征在于,包括:

    11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1~7中任一项所述的方法。


    技术总结
    本申请提供一种数据处理方法、装置、设备及存储介质,可以应用于数据分析领域等,用于解决数据处理过程的处理局限性较大的问题。该方法至少包括:接收来自资产客户节点的交互连接指令;其中,交互连接指令用于:与资产服务节点建立数据交互连接;从预存的各个候选数据库各自对应的候选语法配置策略中,获取第二数据库对应的目标语法配置策略;其中,目标语法配置策略用于:按照第一处理逻辑,编排针对第二数据库的数据处理语句;每当通过数据交互连接接收数据处理指令时,基于目标语法配置策略,为数据处理指令生成目标处理语句;基于获得的目标处理语句,对第二数据库中存储的资产数据进行数据处理,生成数据处理结果。

    技术研发人员:蔡富强
    受保护的技术使用者:中国建设银行股份有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-46862.html

    最新回复(0)