一种多模型分布式数据管理系统及其应用方法与流程

    技术2026-01-02  1


    本发明涉及数据分布式存储,更具体地说,涉及一种多模型分布式数据管理系统及其应用方法。


    背景技术:

    1、数据分布式存储是一种将数据分散存储在多个节点上的存储方式。与传统的集中式存储相比,分布式存储将数据分布在多个节点上,每个节点都可以独立地存储和访问数据。这种分布式的存储方式可以提供更高的可靠性、可扩展性和性能。在分布式存储系统中,数据通常被分割成多个块或对象,并分布在多个存储节点上。每个节点都可以存储一部分数据,并提供数据的读写操作。通过将数据分布在多个节点上,分布式存储系统可以实现数据的冗余备份和自动恢复,从而提供高可用性和数据的可靠性;

    2、在实际应用中,对于不同数据类型的数据,进行分布式存储时往往难以兼顾,需要在前端配置专门应对的数据存储服务器,并在后端配置专门的存储数据库,这会导致存储的灵活性大大降低的同时,兼容性差,还常常会遇到数据类型不符无法存储的问题,需要一种能够较好的克服上述问题的多模型分布式数据管理系统及其应用方法。


    技术实现思路

    1、本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种多模型分布式数据管理系统及其应用方法。

    2、本发明解决其技术问题所采用的技术方案是:

    3、构造一种多模型分布式数据管理系统应用方法,其中,所述方法包括步骤:

    4、步骤一:存储服务器接收用户上传的待存储数据,依靠数据类型识别算法进行数据类型识别,按照与数据类型对应的分片配置方式进行数据分片处理;

    5、步骤二:将分片数据包发送至数据库集群处进行数据存储;

    6、步骤三:数据库集群包含有纵向的树形分布的多级数据库层,每一数据库层包含有多个对应不同数据类型的数据库;

    7、步骤四:存储时,分片数据包先遍历第一层的数据库层的每一数据库,若遇到数据类型相符的数据库,则存储设定数量的分片数据;若遍历该层数据库层后,分片数据未存储完,则遍历下一层的数据库层,直至存储完全部分片数据;

    8、步骤五:将参与了存储的数据库的地址反馈至存储服务器。

    9、本发明所述的多模型分布式数据管理系统应用方法,其中,所述方法还包括:

    10、多级数据库层的最下一层数据库层中数据库为存储满数据的数据库;

    11、若非最后一层的数据库层中的数据库中存满的数据库占该层总数据库的比例达到设定比例,则释放该层的全部数据库,释放时将存储满的数据库添加到最后一层数据库层中,未存储满的数据库添加到邻近的一层数据库层中。

    12、本发明所述的多模型分布式数据管理系统应用方法,其中,所述方法还包括:

    13、若遍历完除最后一层外的所有数据库层,分片数据仍未存储完,则反馈存储空间不足、数据类型以及空间信息;

    14、等待添加新的数据库后,在新加入的数据库中继续执行存储任务。

    15、本发明所述的多模型分布式数据管理系统应用方法,其中,所述方法还包括:

    16、监测数据库集群中各数据类型对应的数据库的总的剩余空间数量,若低于设定阈值,则对应的添加新的该数据类型对应的数据库。

    17、本发明所述的多模型分布式数据管理系统应用方法,其中,添加新的数据库采用方法:

    18、查询符合设定要求的数据库;

    19、对数据库增加一个访问端口,数据的访问需要先通过访问端口后才可访问数据库,数据库的数据读取同样需要先经过访问端口;

    20、对访问端口配置上游链接、同级链接和下游链接,上游链接用以在添加到数据库集群中后与上一层的数据库层中的多个数据库建立链接,同级链接用以在添加到数据库集群中后与同一层的数据库层中的多个数据库建立链接,下游链接用以在添加到数据库集群中后与下一层的数据库层中的多个数据库建立链接;

    21、将数据库添加到除最后一层外的数据库数量最少的一层数据库层中,并建立链接关系。

    22、本发明所述的多模型分布式数据管理系统应用方法,其中,若遍历该层后,分片数据未存储完,则遍历下一层的数据库层采用:

    23、在遍历该数据库层的每一数据库后,判断分片数据包是否还有数据,若无则停止并对外反馈已完成存储,若有则从当前访问的最后一个数据库的下游链接进行访问下一层数据库层的相应数据库,而后通过该层数据库层中的多个同级链接进行遍历该数据库层。

    24、一种多模型分布式数据管理系统,其中,包括存储服务器和数据库集群;所述存储服务器中设置有数据类型识别单元;所述数据库集群中包含有纵向的树形分布的多级数据库层,每一数据库层包含有多个对应不同数据类型的数据库;

    25、所述存储服务器,用于接收用户上传的待存储数据,通过数据类型识别单元依靠数据类型识别算法进行数据类型识别,按照与数据类型对应的分片配置方式进行数据分片处理,将分片数据包发送至数据库集群处进行数据存储;

    26、存储时,分片数据包先遍历第一层的数据库层的每一数据库,若遇到数据类型相符的数据库,则存储设定数量的分片数据;若遍历该层数据库层后,分片数据未存储完,则遍历下一层的数据库层,直至存储完全部分片数据;将参与了存储的数据库的地址反馈至存储服务器。

    27、本发明所述的多模型分布式数据管理系统,其中,多级数据库层的最下一层数据库层中数据库为存储满数据的数据库;

    28、若非最后一层的数据库层中的数据库中存满的数据库占该层总数据库的比例达到设定比例,则释放该层的全部数据库,释放时将存储满的数据库添加到最后一层数据库层中,未存储满的数据库添加到邻近的一层数据库层中;

    29、若遍历完除最后一层外的所有数据库层,分片数据仍未存储完,则反馈存储空间不足、数据类型以及空间信息;

    30、等待添加新的数据库后,在新加入的数据库中继续执行存储任务。

    31、本发明所述的多模型分布式数据管理系统,其中,监测数据库集群中各数据类型对应的数据库的总的剩余空间数量,若低于设定阈值,则对应的添加新的该数据类型对应的数据库;

    32、添加新的数据库采用方法:

    33、查询符合设定要求的数据库;

    34、对数据库增加一个访问端口,数据的访问需要先通过访问端口后才可访问数据库,数据库的数据读取同样需要先经过访问端口;

    35、对访问端口配置上游链接、同级链接和下游链接,上游链接用以在添加到数据库集群中后与上一层的数据库层中的多个数据库建立链接,同级链接用以在添加到数据库集群中后与同一层的数据库层中的多个数据库建立链接,下游链接用以在添加到数据库集群中后与下一层的数据库层中的多个数据库建立链接;

    36、将数据库添加到除最后一层外的数据库数量最少的一层数据库层中,并建立链接关系;

    37、若遍历该层后,分片数据未存储完,则遍历下一层的数据库层采用:

    38、在遍历该数据库层的每一数据库后,判断分片数据包是否还有数据,若无则停止并对外反馈已完成存储,若有则从当前访问的最后一个数据库的下游链接进行访问下一层数据库层的相应数据库,而后通过该层数据库层中的多个同级链接进行遍历该数据库层。

    39、本发明的有益效果在于:应用本技术的方式方法,在前端配置了数据类型的识别模块,进行数据类型识别,并依据数据类型进行对应分片处理,在后端则配置了混合有多种数据类型的树形数据库集群,依靠设定的存储规则进行混合分布式存储,使得整个分布式系统可以实现多种数据类型的数据存储的同时,灵活性和兼容性都得到显著提升,同时还兼具较佳的升级扩展能力,若后续有全新的数据类型也可以很好的通过对前端算法和后端配置的局部调整进行应对。


    技术特征:

    1.一种多模型分布式数据管理系统应用方法,其特征在于,所述方法包括步骤:

    2.根据权利要求1所述的多模型分布式数据管理系统应用方法,其特征在于,所述方法还包括:

    3.根据权利要求2所述的多模型分布式数据管理系统应用方法,其特征在于,所述方法还包括:

    4.根据权利要求1所述的多模型分布式数据管理系统应用方法,其特征在于,所述方法还包括:

    5.根据权利要求4所述的多模型分布式数据管理系统应用方法,其特征在于,添加新的数据库采用方法:

    6.根据权利要求5所述的多模型分布式数据管理系统应用方法,其特征在于,若遍历该层后,分片数据未存储完,则遍历下一层的数据库层采用:

    7.一种多模型分布式数据管理系统,其特征在于,包括存储服务器和数据库集群;所述存储服务器中设置有数据类型识别单元;所述数据库集群中包含有纵向的树形分布的多级数据库层,每一数据库层包含有多个对应不同数据类型的数据库;

    8.根据权利要求7所述的多模型分布式数据管理系统,其特征在于,多级数据库层的最下一层数据库层中数据库为存储满数据的数据库;

    9.根据权利要求7所述的多模型分布式数据管理系统,其特征在于,监测数据库集群中各数据类型对应的数据库的总的剩余空间数量,若低于设定阈值,则对应的添加新的该数据类型对应的数据库;


    技术总结
    本发明涉及多模型分布式数据管理系统及其应用方法,包括步骤:依靠数据类型识别算法进行数据类型识别,按照与数据类型对应的分片配置方式进行数据分片处理;将分片数据包发送至数据库集群处进行数据存储;数据库集群包含有纵向的树形分布的多级数据库层,每一数据库层包含有多个对应不同数据类型的数据库;存储时,分片数据包先遍历第一层的数据库层的每一数据库,若遇到数据类型相符的数据库,则存储设定数量的分片数据;若遍历该层数据库层后,分片数据未存储完,则遍历下一层的数据库层,直至存储完全部分片数据;整个分布式系统可以实现多种数据类型的数据存储的同时,灵活性和兼容性都得到显著提升,同时还兼具较佳的升级扩展能力。

    技术研发人员:张立旭
    受保护的技术使用者:优网云计算有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-39066.html

    最新回复(0)