数据处理方法、装置、存储介质及电子设备与流程

    技术2026-07-13  5


    本申请涉及计算机,尤其涉及一种数据处理方法、装置、存储介质及电子设备。


    背景技术:

    1、在云计算时代,计算与存储分离架构方式应用广泛,基于此架构方式的诸如trino等分布式sql查询引擎为避免从远端存储及读取所需业务数据需要较大带宽,常常将一些远端文件缓存在本地磁盘直接读取,以此来提升查询性能,降低存储端的压力及查询消耗。


    技术实现思路

    1、本申请实施例提供了一种数据处理方法、装置、存储介质及电子设备,所述技术方案如下:

    2、第一方面,本申请实施例提供了一种数据处理方法,所述方法包括:

    3、响应于针对分布式sql查询引擎的至少一个数据查询请求,确定针对所述数据查询请求的数据分片split;

    4、基于所述数据分片split对所述数据查询请求进行节点调度处理,以从多个共享缓存工作节点中确定所述数据分片split对应的目标工作节点,所述多个共享缓存工作节点共同维护历史查询缓存库表;

    5、控制所述目标工作节点基于所述历史查询缓存库表,获取所述数据分片split对应的目标业务数据。

    6、第二方面,本申请实施例提供了一种数据处理装置,所述装置包括:

    7、请求响应模块,用于响应于针对分布式sql查询引擎的至少一个数据查询请求,确定针对所述数据查询请求的数据分片split;

    8、节点调度模块,用于基于所述数据分片split对所述数据查询请求进行节点调度处理,以从多个共享缓存工作节点中确定所述数据分片split对应的目标工作节点,所述多个共享缓存工作节点共同维护历史查询缓存库表;

    9、查询缓存模块,用于控制所述目标工作节点基于所述历史查询缓存库表,获取所述数据分片split对应的目标业务数据。

    10、第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。

    11、第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

    12、本申请一些实施例提供的技术方案带来的有益效果至少包括:

    13、在本申请一个或多个实施例中,服务平台可以响应于针对分布式sql查询引擎的数据查询请求,确定针对数据查询请求的数据分片split,基于数据分片split从多个共享缓存工作节点中确定数据分片split对应的目标工作节点,控制目标工作节点基于历史查询缓存库表,获取数据分片split对应的目标业务数据。通过对分布式sql查询引擎多个工作节点引入共享缓存机制,各个共享缓存工作节点通过共享物理机缓存路径共同更新维护历史查询缓存库表,对于当前处理的任一工作节点而言其查询缓存处理能力可以覆盖到更多的节点数,从而大幅提高缓存命中率,提升了查询性能。



    技术特征:

    1.一种数据处理方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述控制所述目标工作节点基于所述历史查询缓存库表,获取所述数据分片split对应的目标业务数据,包括:

    3.根据权利要求2所述的方法,其特征在于,所述基于目标共享缓存容器中的所述历史查询缓存库表对所述数据分片split进行缓存路径匹配,得到缓存匹配结果,包括:

    4.根据权利要求3所述的方法,其特征在于,所述获取所述历史查询缓存库表中每条历史查询数据缓存对应的历史查询特性信息,基于所述历史查询特性信息对所述数据分片split进行特性信息路径匹配,得到缓存匹配结果,包括:

    5.根据权利要求2所述的方法,其特征在于,所述方法还包括:

    6.根据权利要求1所述的方法,其特征在于,所述基于所述数据分片split对所述数据查询请求进行节点调度处理,以从多个共享缓存工作节点中确定所述数据分片split对应的目标工作节点,包括:

    7.根据权利要求6所述的方法,其特征在于,所述基于所述数据缓存节点信息和容器节点缓存映射图进行节点调度处理,以从多个共享缓存工作节点中确定所述数据分片split对应的目标工作节点,包括:

    8.一种数据处理装置,其特征在于,所述装置包括:

    9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~7任意一项的方法步骤。

    10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~7任意一项的方法步骤。


    技术总结
    本申请实施例公开了一种数据处理方法、装置、存储介质及电子设备,其中,方法包括:响应于针对分布式SQL查询引擎的数据查询请求,确定针对数据查询请求的数据分片split,基于数据分片split从多个共享缓存工作节点中确定数据分片split对应的目标工作节点,控制目标工作节点基于历史查询缓存库表,获取数据分片split对应的目标业务数据。

    技术研发人员:胡茂博,戴巍,刘海锋
    受保护的技术使用者:深圳市欢太科技有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-45213.html

    最新回复(0)