实时数据管理方法、装置、设备、存储介质及产品与流程

    技术2024-12-04  19


    本申请涉及数据处理,尤其涉及一种实时数据管理方法、装置、设备、存储介质及计算机程序产品。


    背景技术:

    1、实时数据是指在特定时间段内持续不断生成的数据,如分析数据、流量数据等。这些数据需要被及时处理和存储,以支持各种应用场景的需求,例如,应用于实时流量分析系统、ddos攻击检测系统、网络通话感知系统、网络攻击态势系统等系统对应数据处理进程中。

    2、当前在实时计算项目中依赖于时间窗口管理实时数据,依赖于编程语言本身对过时数据进行垃圾回收,即对实时数据的管理依赖于实时计算框架本身,通过使用时间窗口相关方法来确定实时数据的缓存时长,其具体计算过程需要满足数据计算场景的需求,因此,当前实时计算项目中,缺乏对实时数据的独立管理策略。


    技术实现思路

    1、本申请的主要目的在于提供一种实时数据管理方法、装置、设备、存储介质及计算机程序产品,旨在解决缺乏对实时数据进行独立管理情况的技术问题。

    2、为实现上述目的,本申请提供一种实时数据管理方法,所述实时数据管理方法包括以下步骤:

    3、从实时数据源处接收原始数据,并对所述原始数据进行加工处理,得到时序数据;

    4、将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池,以供相关人员在所述时序螺旋缓存结构中查询相关数据,其中,所述时序螺旋缓存结构为具备预设数量个数据槽的环形数据缓存结构,所述数据槽内所缓存的数据是基于接收到的原始数据进行定期更新的。

    5、在一实施例中,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池的步骤,包括:

    6、根据预设更新周期,从预设的时序螺旋缓存结构对应的上一周期缓存位置,切换至下一周期缓存位置;

    7、将所述时序数据存储至所述下一周期缓存位置对应的数据槽中,并将所述下一周期缓存位置对应数据槽中的超时数据回调至对象池。

    8、在一实施例中,所述将所述下一周期缓存位置对应数据槽中的超时数据回调至对象池的步骤,包括:

    9、确定所述下一周期缓存位置对应数据槽中的超时数据;

    10、对所述超时数据进行属性重置,并将属性重置后的超时数据回调至对象池,使所述属性重置后的超时数据重复使用。

    11、在一实施例中,所述对所述超时数据进行属性重置,并将属性重置后的超时数据回调至对象池,使所述属性重置后的超时数据重复使用的步骤之后,所述方法还包括:

    12、在接收到所述实时数据源发送的原始数据后,从所述对象池中调用空对象,其中,所述空对象为所述属性重置后的超时数据;

    13、根据所述原始数据,对所述空对象进行组装和属性赋值处理,得到时序数据。

    14、在一实施例中,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中的步骤,包括:

    15、确定各时序数据对应的时间戳索引;

    16、根据所述时间戳索引,将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,使所述时序螺旋缓存结构中所缓存的数据按时间顺序排列成环形结构。

    17、在一实施例中,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池,以供相关人员在所述时序螺旋缓存结构中查询相关数据的步骤之后,所述方法还包括:

    18、在接收到数据查询指令时,在数据螺旋缓存中,确定与所述数据查询指令相匹配的实时数据,其中,所述数据螺旋缓存中的数据为基于所述时序螺旋缓存结构所缓存得到的预设时间范围内的时序数据;

    19、根据所述实时数据,生成查询结果。

    20、此外,为实现上述目的,本申请还提供一种实时数据管理装置,所述实时数据管理装置包括:

    21、数据处理模块,用于从实时数据源处接收原始数据,并对所述原始数据进行加工处理,得到时序数据;

    22、数据缓存模块,用于将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池,以供相关人员在所述时序螺旋缓存结构中查询相关数据,其中,所述时序螺旋缓存结构为具备预设数量个数据槽的环形数据缓存结构,所述数据槽内所缓存的数据是基于接收到的原始数据进行定期更新的。

    23、此外,为实现上述目的,本申请还提供一种实时数据管理设备,所述实时数据管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实时数据管理程序,所述实时数据管理程序配置为实现如上所述的实时数据管理方法的步骤。

    24、此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有实时数据管理程序,所述实时数据管理程序被处理器执行时实现如上所述的实时数据管理方法的步骤。

    25、此外,为实现上述目的,本发明还提供一种计算机程序产品,所述计算机程序产品包括实时数据管理程序,所述实时数据管理程序被处理器执行时实现如上文所述的实时数据管理方法的步骤。

    26、本申请提出的一个或多个技术方案,至少具有以下技术效果:通过从实时数据源处接收原始数据,并对所述原始数据进行加工处理,得到时序数据;将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池,以供相关人员在所述时序螺旋缓存结构中查询相关数据,其中,所述时序螺旋缓存结构为具备预设数量个数据槽的环形数据缓存结构,所述数据槽内所缓存的数据是基于接收到的原始数据进行定期更新的,即通过对实时数据源发送的原始数据进行加工处理,得到相应的时序数据,并通过具备多个数据槽的环形结构的时序螺旋缓存结构对该时序数据进行缓存,并通过该时序螺旋缓存结构中各数据槽内定期更新数据的方式,实现对实时数据的综合性管理效果。



    技术特征:

    1.一种实时数据管理方法,其特征在于,所述实时数据管理方法包括以下步骤:

    2.如权利要求1所述的方法,其特征在于,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池的步骤,包括:

    3.如权利要求2所述的方法,其特征在于,所述将所述下一周期缓存位置对应数据槽中的超时数据回调至对象池的步骤,包括:

    4.如权利要求3所述的方法,其特征在于,所述对所述超时数据进行属性重置,并将属性重置后的超时数据回调至对象池,使所述属性重置后的超时数据重复使用的步骤之后,所述方法还包括:

    5.如权利要求1所述的方法,其特征在于,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中的步骤,包括:

    6.如权利要求1所述的方法,其特征在于,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池,以供相关人员在所述时序螺旋缓存结构中查询相关数据的步骤之后,所述方法还包括:

    7.一种实时数据管理装置,其特征在于,所述实时数据管理装置包括:

    8.一种实时数据管理设备,其特征在于,所述实时数据管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实时数据管理程序,所述实时数据管理程序配置为实现如权利要求1至6中任一项所述的实时数据管理方法的步骤。

    9.一种存储介质,其特征在于,存储介质上存储有实现实时数据管理方法的程序,实现实时数据管理方法的程序被处理器执行以实现如权利要求1至6中任一项所述实时数据管理方法的步骤。

    10.一种计算机程序产品,其特征在于,所述计算机程序产品包括实时数据管理程序,所述实时数据管理程序被处理器执行时实现如权利要求1至6中任一项所述的实时数据管理方法的步骤。


    技术总结
    本申请公开了一种实时数据管理方法、装置、设备、存储介质及计算机程序产品,属于数据处理技术领域。本申请通过从实时数据源处接收原始数据,并对原始数据进行加工处理,得到时序数据;将时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将时序螺旋缓存结构中超时数据回调至对象池,以供相关人员在时序螺旋缓存结构中查询相关数据,其中,时序螺旋缓存结构为具备预设数量个数据槽的环形数据缓存结构,数据槽内所缓存的数据是基于接收到的原始数据进行定期更新的,即通过具备多个数据槽的环形结构的时序螺旋缓存结构对时序数据进行缓存,并通过该时序螺旋缓存结构中各数据槽内定期更新数据的方式,实现对实时数据的综合性管理效果。

    技术研发人员:于晶,韩宗佑,肖天翔,王小东,焦治,谢懿,魏来,李海明,师文,袁胜,郑伟,李瑞强,曹义显
    受保护的技术使用者:中国移动通信有限公司政企客户分公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-23032.html

    最新回复(0)