数据模型schema管理方法、装置及设备与流程

    技术2025-02-19  61


    本说明书一个或多个实施例涉及图计算领域,尤其涉及一种数据模型schema管理方法、装置及设备。


    背景技术:

    1、图计算平台是以图论为理论基础,以大规模点、边关系及其属性的数据为基础构造图结构,通过图计算框架对图进行特征分析、算法挖掘等任务的数据处理平台,该平台可以支持图查询、图分析、图学习等场景。

    2、图计算平台的schema(数据模型)定义了图数据模型的结构,是底层引擎理解数据的蓝图,确保了数据的完整性和查询的有效性。然而,随着业务需求的发展和变化,可能需要合并来自不同来源的数据或者需要支持新的图算法或分析功能,因此schema也可能需要频繁地进行变更。在schema变更过程中,可能会出现数据不一致、查询性能下降、甚至系统不可用等问题,这些问题不仅影响了数据的有效管理和分析,还可能导致业务流程的中断和损失。


    技术实现思路

    1、有鉴于此,本说明书一个或多个实施例提供一种数据模型schema管理方案,以解决schema变更过程可能导致数据不一致、系统不可用以及业务流程中断的问题。

    2、为实现上述目的,本说明书一个或多个实施例提供技术方案如下:

    3、根据本说明书一个或多个实施例的第一方面,提出了一种数据模型schema管理方法,应用于图计算平台的schema管理模型,所述图计算平台设置有用于多种类型的图引擎的第一统一schema,所述方法包括:

    4、通过所述schema管理模型的schema变更接口,接收统一schema变更请求;

    5、根据目标统一schema与所述第一统一schema之间的差异,生成原子操作;

    6、执行所述原子操作,得到第二统一schema;

    7、将所述第二统一schema映射至各个图引擎的原生schema中。

    8、在一些实施例中,所述方法还包括:

    9、通过所述schema管理模型的schema查询接口,接收统一schema查询请求;

    10、根据查询请求获取存储在所述schema管理模型中的统一schema的信息,并在前端交互界面上进行显示,所述统一schema包括第一统一schema和第二统一schema。

    11、在一些实施例中,所述方法还包括:

    12、确定所述多种类型的图引擎所共同支持的节点类型和边类型,并针对每种类型节点和边设置所述多种类型的图引擎通用的属性集,得到第一统一schema;

    13、建立多种类型的图引擎的原生schema的差异部分与所述第一统一schema之间的映射规则,所述映射规则与所述第一统一schema共同存储在所述schema管理模型中。

    14、在一些实施例中,所述变更请求用于指示对所述第一统一scheme的变更操作,所述变更操作包括预先设定的变更操作集合中的至少一项;或者,所述变更请求用于指示目标统一schema。

    15、在一些实施例中,在所述变更请求用于指示对所述第一统一scheme的变更操作的情况下,所述变更请求以函数式语言的形式输入,或者从预设的指示变更操作的选项中进行选取得到。

    16、在一些实施例中,所述方法还包括:

    17、对每个原子操作的合法性进行校验;

    18、在所有原子操作通过校验的情况下,执行所述原子操作,得到第二统一schema;

    19、在任一原子操作未通过校验情况下,维持所述第一统一schema。

    20、在一些实施例中,所述方法还包括发布统一scheme,具体包括:

    21、响应于进入预先为统一scheme发布创建的项目卡片,根据所述项目卡片的指示,在开发环境中创建草稿态的统一schema,其中,所述统一schema包括第一统一schema和第二统一schema;

    22、在所述草稿态的统一schema在所述开发环境中完成第一验证后,推送到灰度环境;

    23、在所述灰度环境中完成第二验证后,推送到生产环境,并在所述生产环境中生效。

    24、根据本说明书一个或多个实施例的第二方面,提出了一种数据模型schema管理装置,应用于图计算平台的schema管理模型,所述图计算平台设置有用于多种类型的图引擎的第一统一schema,所述装置包括:

    25、接收单元,用于通过所述schema管理模型的schema变更接口,接收统一schema变更请求;

    26、生成单元,用于根据目标统一schema与所述第一统一schema之间的差异,生成原子操作;

    27、得到单元,用于执行所述原子操作,得到第二统一schema;

    28、映射单元,用于将所述第二统一schema映射至各个图引擎的原生schema中。

    29、在一些实施例中,所述装置还包括查询单元,用于:

    30、通过所述schema管理模型的schema查询接口,接收统一schema查询请求;

    31、根据查询请求获取存储在所述schema管理模型中的统一schema的信息,并在前端交互界面上进行显示,所述统一schema包括第一统一schema和第二统一schema。

    32、在一些实施例中,所述装置还包括构建单元,用于:

    33、确定所述多种类型的图引擎所共同支持的节点类型和边类型,并针对每种类型节点和边设置所述多种类型的图引擎通用的属性集,得到第一统一schema;

    34、建立多种类型的图引擎的原生schema的差异部分与所述第一统一schema之间的映射规则,所述映射规则与所述第一统一schema共同存储在所述schema管理模型中。

    35、在一些实施例中,所述变更请求用于指示对所述第一统一scheme的变更操作,所述变更操作包括预先设定的变更操作集合中的至少一项;或者,所述变更请求用于指示目标统一schema。

    36、在一些实施例中,在所述变更请求用于指示对所述第一统一scheme的变更操作的情况下,所述变更请求以函数式语言的形式输入,或者从预设的指示变更操作的选项中进行选取得到。

    37、在一些实施例中,所述装置还包括校验单元,用于:

    38、对每个原子操作的合法性进行校验;

    39、在所有原子操作通过校验的情况下,执行所述原子操作,得到第二统一schema;

    40、在任一原子操作未通过校验情况下,维持所述第一统一schema。

    41、在一些实施例中,所述装置还包括发布单元,用于:

    42、响应于进入预先为统一scheme发布创建的项目卡片,根据所述项目卡片的指示,在开发环境中创建草稿态的统一schema,其中,所述统一schema包括第一统一schema和第二统一schema;

    43、在所述草稿态的统一schema在所述开发环境中完成第一验证后,推送到灰度环境;

    44、在所述灰度环境中完成第二验证后,推送到生产环境,并在所述生产环境中生效。

    45、根据本说明书一个或多个实施例的第三方面,提出了一种schema管理模型,在图计算平台中运行,所述图计算平台设置有用于多种类型的图引擎的第一统一schema,所述schema管理模型包括:

    46、接口层,所述接口层上设置有用于接收统一schema变更请求的schema变更接口;

    47、执行层,所述执行层包括比较器、执行器和映射器,其中:

    48、所述比较器用于根据目标统一schema与所述第一统一schema之间的差异,生成原子操作;

    49、所述执行器用于执行所述原子操作,得到第二统一schema;

    50、所述映射器用于将所述第二统一schema映射至各个图引擎的原生schema中。

    51、根据本说明书一个或多个实施例的第四方面,提出了一种电子设备,包括:

    52、处理器;

    53、用于存储处理器可执行指令的存储器;

    54、其中,所述处理器通过运行所述可执行指令以实现上述实施例提出的方法的步骤。

    55、根据本说明书一个或多个实施例的第五方面,提出了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述实施例提出的方法的步骤。

    56、根据本说明书一个或多个实施例的第六方面,提出了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述实施例提出的方法的步骤。

    57、本说明书实施例提出的schema管理方法,应用于图计算平台的schema管理模型,通过所述schema管理模型的schema变更接口,接收统一schema变更请求;根据目标统一schema与所述第一统一schema之间的差异,生成原子操作;执行所述原子操作,得到第二统一schema;并将所述第二统一schema映射至各个图引擎的原生schema中。通过实现服务化的统一schema能力,为用户提供了高效、便捷的schema管理方式,并通过将变更操作原子化,可以确保图计算平台的统一schema变更能够平滑地进行,提高变更操作的可靠性、灵活性,同时保持数据的完整性和系统的可用性。


    技术特征:

    1.一种数据模型schema管理方法,应用于图计算平台的schema管理模型,所述图计算平台设置有用于多种类型的图引擎的第一统一schema,所述方法包括:

    2.根据权利要求1所述的方法,还包括:

    3.根据权利要求1或2所述的方法,还包括:

    4.根据权利要求1所述的方法,所述变更请求用于指示对所述第一统一scheme的变更操作,所述变更操作包括预先设定的变更操作集合中的至少一项;或者,所述变更请求用于指示目标统一schema。

    5.根据权利要求4所述的方法,在所述变更请求用于指示对所述第一统一scheme的变更操作的情况下,所述变更请求以函数式语言的形式输入,或者从预设的指示变更操作的选项中进行选取得到。

    6.根据权利要求1所述的方法,还包括:

    7.根据权利要求1所述的方法,还包括发布统一scheme,具体包括:

    8.一种数据模型schema管理装置,应用于图计算平台的schema管理模型,所述图计算平台设置有用于多种类型的图引擎的第一统一schema,所述装置包括:

    9.一种schema管理模型,在图计算平台中运行,所述图计算平台设置有用于多种类型的图引擎的第一统一schema,所述schema管理模型包括:

    10.一种电子设备,包括:

    11.一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。

    12.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。


    技术总结
    本说明书一个或多个实施例提供一种数据模型schema管理方法、装置及设备,该方法应用于图计算平台的schema管理模型,通过schema管理模型的schema变更接口,接收变更请求;根据目标统一schema与所述第一统一schema之间的差异,生成原子操作;执行所述原子操作,得到第二统一schema;并将所述第二统一schema映射至各个图引擎的原生schema中。通过实现服务化的统一schema能力,为用户提供了高效、便捷的schema管理方式,并通过将变更操作原子化,可以确保图计算平台的统一schema变更能够平滑地进行,提高变更操作的可靠性、灵活性,同时保持数据的完整性和系统的可用性。

    技术研发人员:樊质军,吴帆,黄春林,洪春涛,周猛
    受保护的技术使用者:支付宝(杭州)信息技术有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-26775.html

    最新回复(0)