数据处理系统、方法、装置及设备与流程

    技术2025-03-18  41


    本申请属于通信,尤其涉及一种数据处理系统、方法、装置及设备。


    背景技术:

    1、随着科技技术和互联网的快速发展,微服务架构应运而生。微服务架构可以将应用程序拆分成多个小的服务,每个服务都运行在不同的进程中,并且使用轻量级的通信机制进行通信,这种架构使得应用程序更加灵活、可维护、可扩展和容错,但同时也带来了一定的问题,比如,大规模微服务的服务数量多,且扩容速度快,数据库连接也会海量增加造成数据库连接风暴,假设一个服务100个数据库连接,1000个服务就有10万个数据库连接,使得微服务与数据库之间的数据库连接数剧增,容易降低数据库性能,造成应用程序运行异常。


    技术实现思路

    1、本申请实施例提供一种数据处理系统、方法、装置、设备及存储介质,能够解决相关技术中微服务与数据库之间的数据库连接数剧增,降低数据库性能,造成应用程序运行异常的问题。

    2、第一方面,本申请实施例提供一种数据处理系统,该系统可以包括数据库驱动模块、数据库代理模块和数据库;其中,

    3、数据库驱动模块,用于根据数据库驱动模块与数据代理模块之间的第一tcp链路,生成n个第一虚拟连接;为应用发送的第一数据报文分配第一目标虚拟连接,n个第一虚拟连接包括第一目标虚拟连接;通过第一tcp链路,向数据库代理模块发送第二数据报文,第二数据报文携带第一数据报文和第一目标虚拟连接的第一连接标识,n为大于1的整数;

    4、数据库代理模块,用于在接收到第二数据报文的情况下,基于第二数据报文中的第一连接标识,从m个第二虚拟连接中筛选第二目标虚拟连接;从p个第二tcp链路中确定与第二目标虚拟连接对应的目标tcp链路,p个第二tcp链路为数据代理模块和数据库之间的链路;通过目标tcp链路,向数据库发送第一数据报文,m和p为大于1的整数。

    5、第二方面,本申请实施例提供一种数据处理方法,应用于数据处理系统,数据处理系统包括数据库驱动模块、数据库代理模块和数据库,数据库驱动模块与数据库代理模块之间通过第一tcp链路连接,数据库代理模块和数据库通过p个第二tcp链路连接,p为大于1的整数,该方法可以包括:

    6、在数据库驱动模块接收到应用发送的第一数据报文的情况下,基于接收第一数据报文的第一目标虚拟连接,获取与第一目标虚拟连接对应的第一连接标识;

    7、通过数据库驱动模块生成,根据第一数据报文和第一连接标识,生成第二数据报文;

    8、通过第一tcp链路连接,将数据库驱动模块生成的第二数据报文输入数据库代理模块;

    9、通过数据库代理模块,对第二数据报文进行解码,得到第一连接标识和第一数据报文;

    10、在数据库代理模块提供的m个第二虚拟连接中,筛选与第一连接标识对应的第二目标虚拟连接,m为大于1的整数;

    11、从数据库代理模块提供的p个第二tcp链路中,获取与第二目标虚拟连接对应的目标tcp链路;

    12、通过目标tcp链路,将数据库代理模块解析出的第一数据报文输入数据库,p个第二tcp链路用于传输数据代理模块和数据库之间数据。

    13、第三方面,本申请实施例提供一种数据处理装置,应用于数据处理系统,数据处理系统包括数据库驱动模块、数据库代理模块和数据库,数据库驱动模块与数据库代理模块之间通过第一tcp链路连接,数据库代理模块和数据库通过p个第二tcp链路连接,p为大于1的整数,该装置可以包括:

    14、获取模块,用于在数据库驱动模块接收到应用发送的第一数据报文的情况下,基于接收第一数据报文的第一目标虚拟连接,获取与第一目标虚拟连接对应的第一连接标识;

    15、生成模块,用于通过数据库驱动模块生成,根据第一数据报文和第一连接标识,生成第二数据报文;

    16、发送模块,用于通过第一tcp链路连接,将数据库驱动模块生成的第二数据报文输入数据库代理模块;

    17、解码模块,用于通过数据库代理模块,对第二数据报文进行解码,得到第一连接标识和第一数据报文;

    18、筛选模块,用于在数据库代理模块提供的m个第二虚拟连接中,筛选与第一连接标识对应的第二目标虚拟连接,m为大于1的整数;

    19、获取模块还用于,从数据库代理模块提供的p个第二tcp链路中,获取与第二目标虚拟连接对应的目标tcp链路;

    20、发送模块还用于,通过目标tcp链路,将数据库代理模块解析出的第一数据报文输入数据库,p个第二tcp链路用于传输数据代理模块和数据库之间数据。

    21、第四方面,本申请实施例提供了一种计算机设备,该计算机设备包括:处理器以及存储有计算机程序指令的存储器;

    22、处理器执行计算机程序指令时实现如第二方面所示的数据处理方法。

    23、第五方面,本申请实施例提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第二方面所示的数据处理方法。

    24、第六方面,本申请实施例提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第二方面所示的数据处理方法。

    25、第七方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第二方面所示的数据处理方法。

    26、本申请实施例的数据处理方法、装置、设备及存储介质,该系统可以包括数据库驱动模块、数据库代理模块和数据库;其中,数据库驱动模块,用于根据数据库驱动模块与数据代理模块之间的第一tcp链路,生成n个第一虚拟连接;为应用发送的第一数据报文分配第一目标虚拟连接,n个第一虚拟连接包括第一目标虚拟连接;通过第一tcp链路,向数据库代理模块发送第二数据报文,第二数据报文携带第一数据报文和第一目标虚拟连接的第一连接标识,n为大于1的整数;数据库代理模块,用于在接收到第二数据报文的情况下,基于第二数据报文中的第一连接标识,从m个第二虚拟连接中筛选第二目标虚拟连接;从p个第二tcp链路中确定与第二目标虚拟连接对应的目标tcp链路,p个第二tcp链路为数据代理模块和数据库之间的链路;通过目标tcp链路,向数据库发送第一数据报文,m和p为大于1的整数。这样,通过在数据库上配置数据库代理模块,重写数据库驱动模块与数据库代理模块之间的网络连接,一方面保持一个应用共用数据库驱动模块中的一个虚拟连接,另一方面,使得数据库驱动模块与数据库代理模块以一个实体pct链路保持连接,再一方面,数据库代理模块与数据库仍通过实体的多个tcp链路保持连接,如此,可以通过轻量级的连接接收应用的数据库连接,以及,由于通过第一连接标识用于标识唯一用于传输应用报文的连接,所以使得支持的应用数量上线是数据库支持的连接数量上线,有效减少数据库连接对数据库的影响,防止应用与数据库之间的数据库连接数剧增导致的数据库性能降低的情况,提高了数据库性能,保证了应用程序的正常运行。



    技术特征:

    1.一种数据处理系统,其特征在于,包括数据库驱动模块、数据库代理模块和数据库;其中,

    2.根据权利要求1所述的系统,其特征在于,所述数据库代理模块还用于,通过所述目标tcp链路,接收所述数据库发送的与所述第一数据报文对应的第一执行结果;

    3.根据权利要求2所述的系统,其特征在于,所述数据库驱动模块还用于,在接收到所述第二执行结果的情况下,基于所述第二执行结果中的第一连接标识,获取与所述第一连接标识对应的第一目标虚拟连接;

    4.根据权利要求1所述的系统,其特征在于,所述数据库驱动模块还用于,存储所述数据库驱动模块和所述数据库代理模块之间预先设定的报文编码模板;

    5.根据权利要求1或4所述的系统,其特征在于,所述数据库代理模块还用于,存储所述数据库驱动模块和所述数据库代理模块之间预先设定的报文解码模板;

    6.根据权利要求1所述的系统,其特征在于,所述数据处理系统还包括数据库连接池,所述数据库连接池存储连接标识与第二虚拟连接的连接标识的第一关联关系和所述第二虚拟连接与第二tcp链路的第二关联关系;

    7.根据权利要求6所述的系统,其特征在于,所述数据库代理模块具体用于,调用所述数据库连接池中的所述第一关联关系,从所述第一关联关系中确定与所述第一连接标识匹配的连接标识对应的第二目标虚拟连接;

    8.根据权利要求1所述的系统,其特征在于,所述数据库代理模块还用于,基于所述p个第二tcp链路,生成与所述p个第二tcp链路中每个第二tcp链路对应的第二虚拟连接。

    9.根据权利要求1所述的系统,其特征在于,所述数据处理系统还包括所述应用;

    10.根据权利要求9所述的系统,其特征在于,所述第二访问配置信息包括所述数据库驱动模块为所述应用分配的第一目标虚拟连接的第一连接标识;

    11.一种数据处理方法,其特征在于,应用于数据处理系统,所述数据处理系统包括数据库驱动模块、数据库代理模块和数据库,所述数据库驱动模块与所述数据库代理模块之间通过第一tcp链路连接,所述数据库代理模块和所述数据库通过p个第二tcp链路连接,p为大于1的整数,所述数据处理方法包括:

    12.一种数据处理装置,其特征在于,应用于数据处理系统,所述数据处理系统包括数据库驱动模块、数据库代理模块和数据库,所述数据库驱动模块与所述数据库代理模块之间通过第一tcp链路连接,所述数据库代理模块和所述数据库通过p个第二tcp链路连接,p为大于1的整数,所述数据处理装置包括:

    13.一种计算机设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;


    技术总结
    本申请公开了一种数据处理系统、方法、装置及设备。属于通信技术领域。系统中的数据库驱动模块用于根据数据库驱动模块与数据代理模块之间的第一TCP链路,生成N个第一虚拟连接;为应用发送的第一数据报文分配N个第一虚拟连接中的第一目标虚拟连接;通过第一TCP链路,向数据库代理模块发送携带第一数据报文和第一目标虚拟连接的第一连接标识的第二数据报文;数据库代理模块,用于基于第一连接标识,从M个第二虚拟连接中筛选第二目标虚拟连接;从数据代理模块和数据库之间的P个第二TCP链路中确定与第二目标虚拟连接对应的目标TCP链路;通过目标TCP链路向数据库发送第一数据报文,以从数据库获取执行结果,降低数据库连接对数据库的影响。

    技术研发人员:吴龙,全建斌,兰俊杰,邓宇,黄田恬
    受保护的技术使用者:中移物联网有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-27736.html

    最新回复(0)