数据处理方法、装置、电子设备及存储介质与流程

    技术2025-06-04  83


    本公开涉及物联网(internet of things,iot),尤其涉及一种数据处理方法、装置、电子设备及存储介质。


    背景技术:

    1、链路追踪技术(link tracing technology)是一种用于检测和诊断分布式架构中网络问题的技术。通过追踪分布式系统中的服务的调用记录,可以实现故障的快速定位。通常,物联网链路追踪方法需开发特殊的软件模块用于适配统一的物联网操作系统,或者沿用互联网微服务的链路追踪方案,仅收集传统互联网服务的链路数据。

    2、相关技术中,物联网链路追踪方法依赖于特定的物联网操作系统,需要对物联网设备、网关设备的集成软件进行定制化开发,若所用的物联网设备或网关设备本身底层硬件支持不足或不支持定制化开发,则无法对物联网设备进行链路追踪有效集成。对于不使用特定的物联网操作系统的物联网链路追踪过程,链路的初始化过程往往位于业务系统的入口处,导致部分链路数据丢失。


    技术实现思路

    1、有鉴于此,本公开实施例提供了一种数据处理方法、装置、电子设备及计算机可读存储介质,以解决相关技术中存在的问题。

    2、本公开实施例的第一方面,提供了一种数据处理方法,应用于边缘网关设备,该方法包括:在接收到物联网设备发送的物联网设备数据后,边缘网关设备执行初始化操作,得到第一跨度数据,其中,第一跨度数据包括跟踪标识和跨度标识,跟踪标识为调用链路的唯一标识,跨度标识为调用链路的首节点的标识,首节点为边缘网关设备;将跨度标识作为调用链路的父跨度标识,并将跟踪标识和父跨度标识添加到包括物联网设备数据的消息队列消息的消息体中;基于消息队列遥测传输协议,通过第一分布式消息队列遥测传输消息服务器将消息队列消息发送至订阅消息队列服务的业务服务设备。

    3、本公开实施例的第二方面,提供了一种数据处理方法,应用于业务服务设备,该方法包括:在接收到边缘网关设备通过第一分布式消息队列遥测传输消息服务器发送的消息队列消息后,业务服务设备执行初始化操作,得到当前节点的第二跨度数据,其中,消息队列消息中携带有物联网设备数据,当前节点为业务服务设备,第二跨度数据包括跨度标识;对消息队列消息的消息体进行解析,得到跟踪标识和父跨度标识,将跟踪标识和父跨度标识添加到第二跨度数据的消息体中,其中,跟踪标识为调用链路的唯一标识,父跨度标识为调用链路的首节点的标识,首节点为边缘网关设备;采集业务服务设备的第二日志数据,将第二日志数据添加到第二跨度数据的日志字段中,并基于消息队列遥测传输协议,通过第二分布式消息队列遥测传输消息服务器将第二跨度数据发送至数据汇总服务器。

    4、本公开实施例的第三方面,提供了一种数据处理方法,应用于数据汇总服务器,该方法包括:接收边缘网关设备基于消息队列遥测传输协议,通过第二分布式消息队列遥测传输消息服务器发送的第一跨度数据;接收业务服务设备基于消息队列遥测传输协议,通过第二分布式消息队列遥测传输消息服务器发送的第二跨度数据;对第一跨度数据和第二跨度数据进行解析,并存储为有向图邻接表;基于预设的监控规则对有向图邻接表中的各个节点进行监控,并在监控到任一节点异常的情况下,发送监控告警信息。

    5、本公开实施例的第四方面,提供了一种数据处理装置,应用于边缘网关设备,该装置包括:第一初始化模块,被配置为在接收到物联网设备发送的物联网设备数据后,边缘网关设备执行初始化操作,得到第一跨度数据,其中,第一跨度数据包括跟踪标识和跨度标识,跟踪标识为调用链路的唯一标识,跨度标识为调用链路的首节点的标识,首节点为边缘网关设备;第一添加模块,被配置为将跨度标识作为调用链路的父跨度标识,并将跟踪标识和父跨度标识添加到包括物联网设备数据的消息队列消息的消息体中;第一发送模块,被配置为基于消息队列遥测传输协议,通过第一分布式消息队列遥测传输消息服务器将消息队列消息发送至订阅消息队列服务的业务服务设备。

    6、本公开实施例的第五方面,提供了一种数据处理装置,应用于业务服务设备,该装置包括:第二初始化模块,被配置为在接收到边缘网关设备通过第一分布式消息队列遥测传输消息服务器发送的消息队列消息后,业务服务设备执行初始化操作,得到当前节点的第二跨度数据,其中,消息队列消息中携带有物联网设备数据,当前节点为业务服务设备,第二跨度数据包括跨度标识;第二添加模块,被配置为对消息队列消息的消息体进行解析,得到跟踪标识和父跨度标识,将跟踪标识和父跨度标识添加到第二跨度数据的消息体中,其中,跟踪标识为调用链路的唯一标识,父跨度标识为调用链路的首节点的标识,首节点为边缘网关设备;第二发送模块,被配置为采集业务服务设备的第二日志数据,将第二日志数据添加到第二跨度数据的日志字段中,并基于消息队列遥测传输协议,通过第二分布式消息队列遥测传输消息服务器将第二跨度数据发送至数据汇总服务器。

    7、本公开实施例的第六方面,提供了一种数据处理装置,应用于数据汇总服务器,该装置包括:第一接收模块,被配置为接收边缘网关设备基于消息队列遥测传输协议,通过第二分布式消息队列遥测传输消息服务器发送的第一跨度数据;第二接收模块,被配置为接收业务服务设备基于消息队列遥测传输协议,通过第二分布式消息队列遥测传输消息服务器发送的第二跨度数据;数据解析模块,被配置为对第一跨度数据和第二跨度数据进行解析,并存储为有向图邻接表;监控告警模块,被配置为基于预设的监控规则对有向图邻接表中的各个节点进行监控,并在监控到任一节点异常的情况下,发送监控告警信息。

    8、本公开实施例的第七方面,提供了一种电子设备,包括至少一个处理器;用于存储至少一个处理器可执行指令的存储器;其中,至少一个处理器用于执行指令,以实现上述方法的步骤。

    9、本公开实施例的第八方面,提供了一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述方法的步骤。

    10、本公开实施例采用的上述至少一个技术方案能够达到以下有益效果:通过在接收到物联网设备发送的物联网设备数据后,边缘网关设备执行初始化操作,得到第一跨度数据,其中,第一跨度数据包括跟踪标识和跨度标识,跟踪标识为调用链路的唯一标识,跨度标识为调用链路的首节点的标识,首节点为边缘网关设备;将跨度标识作为调用链路的父跨度标识,并将跟踪标识和父跨度标识添加到包括物联网设备数据的消息队列消息的消息体中;基于消息队列遥测传输协议,通过第一分布式消息队列遥测传输消息服务器将消息队列消息发送至订阅消息队列服务的业务服务设备,能够解决在物联网设备处进行初始化导致的部分链路数据丢失的问题,因此,保证了链路数据的完整性,降低了链路追踪系统的复杂性,提高了链路数据的传输质量和传输效率,并进一步提升了链路追踪系统对不同类型的物联网设备的适配性。



    技术特征:

    1.一种数据处理方法,其特征在于,应用于边缘网关设备,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

    3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

    4.一种数据处理方法,其特征在于,应用于业务服务设备,所述方法包括:

    5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

    6.一种数据处理方法,其特征在于,应用于数据汇总服务器,所述方法包括:

    7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

    8.一种数据处理装置,其特征在于,应用于边缘网关设备,所述装置包括:

    9.一种数据处理装置,其特征在于,应用于业务服务设备,所述装置包括:

    10.一种数据处理装置,其特征在于,应用于数据汇总服务器,所述装置包括:

    11.一种电子设备,其特征在于,包括:

    12.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的方法。


    技术总结
    本公开涉及数据处理方法、装置、电子设备及存储介质。该方法应用于边缘网关设备,并且包括:在接收到物联网设备发送的物联网设备数据后,边缘网关设备执行初始化操作,得到第一跨度数据,其中,第一跨度数据包括跟踪标识和跨度标识,跟踪标识为调用链路的唯一标识,跨度标识为调用链路的首节点的标识,首节点为边缘网关设备;将跨度标识作为调用链路的父跨度标识,并将跟踪标识和父跨度标识添加到包括物联网设备数据的消息队列消息的消息体中;基于消息队列遥测传输协议,通过第一分布式消息队列遥测传输消息服务器将消息队列消息发送至订阅消息队列服务的业务服务设备。本公开能够解决在物联网设备处进行初始化导致的部分链路数据丢失的问题。

    技术研发人员:刘昌健,江敏,路骁虎,郑立荣,郑帅
    受保护的技术使用者:中移(上海)信息通信科技有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-31849.html

    最新回复(0)