本申请涉及大数据处理和图数据库,尤其是一种基于依赖树实现图数据库数据并发导入的方法及装置。
背景技术:
1、随着图数据在社交网络、推荐系统、知识图谱等领域的广泛应用,高效地将大量图数据导入到图数据库成为一项关键任务。传统方法往往顺序执行节点和边的导入,这限制了导入速度。而并发导入虽能提升效率,但若不恰当处理节点与边之间的依赖关系,容易导致导入错误,例如:边导入时其关联节点尚未存在于数据库中,则边的导入将会失败。因此,如何在保证数据一致性的前提下,实现高效的图数据并发导入成为一个亟待解决的问题。
技术实现思路
1、本申请的目的在于克服现有技术中顺序执行节点和边的导入所导致的导入速度较慢的问题,提供一种基于依赖树实现图数据库数据并发导入的方法及装置。
2、第一方面,提供了一种基于依赖树实现图数据库数据并发导入的方法,包括:
3、构建包含点边依赖关系的点边依赖树;
4、对点类型的导入状态进行监控和记录;
5、将点类型的导入任务与处于第一状态的边类型的导入任务进行并发执行,其中,根据所述点边依赖树和点类型的导入状态判断边类型依赖的所有点类型是否全部完成导入,若判断结果为是,则对应的边类型进入第一状态。
6、在一些可能的实现方式中,构建包含点边依赖关系的点边依赖树,包括:
7、分析图数据库的元数据信息,其中,所述元数据信息包括边类型以及边的源点类型和目标点类型;
8、根据所述元数据信息建立依赖树,其中,所述依赖树包含每种边类型所依赖的节点类型。
9、在一些可能的实现方式中,对点类型的导入状态进行监控和记录,包括:
10、在数据导入前,获取导入任务所包含的点类型,并将所有点类型的导入状态设置为未完成;
11、实时跟踪每个点类型的数据是否成功导入;
12、若点类型的数据成功导入,则将对应点类型的导入状态修改为已完成。
13、在一些可能的实现方式中,所述点类型的导入状态通过map结构进行维护,其中,键表示点类型,值表示点类型的导入状态。
14、在一些可能的实现方式中,边类型的导入任务在所述边类型进入第一状态后的指定时间内自动启动。
15、在一些可能的实现方式中,还包括:在数据导入前对数据进行校验并记录校验不合格的数据,在数据导入过程中,若批量数据导入失败,则将批量数据拆分成单条数据进行重新导入,若单条数据导入失败,则记录导入失败的单条数据以及导入失败的原因。
16、第二方面,提供了一种基于依赖树实现图数据库数据并发导入的装置,包括:
17、构建模块,用于构建包含点边依赖关系的点边依赖树;
18、监控模块,用于对点类型的导入状态进行监控和记录;
19、导入模块,用于将点类型的导入任务与处于第一状态的边类型的导入任务进行并发执行,其中,根据所述点边依赖树和点类型的导入状态判断边类型依赖的所有点类型是否全部完成导入,若判断结果为是,则对应的边类型进入第一状态。
20、第三方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。
21、第四方面,提供了一种计算机可读存储介质,所述计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行如上述第一方面中的任意一种实现方式中方法的步骤。
22、第五方面,提供了一种电子设备,所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上述第一方面中的任意一种实现方式中的方法。
23、本申请具有如下有益效果:
24、1.显著提高导入效率:通过并发导入机制,本申请能够有效减少数据导入的总耗时,特别是在处理大规模图数据集时,性能提升尤为明显。
25、2.确保数据一致性:依赖树的引入和动态状态监控机制保证了边数据导入前其依赖节点的存在,避免了数据不一致和导入失败的风险。
26、3.增强系统灵活性与可扩展性:本申请的方案设计灵活,易于适应不同图数据库结构和导入需求的变化,便于未来扩展至更复杂的图数据处理场景。
1.一种基于依赖树实现图数据库数据并发导入的方法,其特征在于,包括:
2.根据权利要求1所述的基于依赖树实现图数据库数据并发导入的方法,其特征在于,构建包含点边依赖关系的点边依赖树,包括:
3.根据权利要求1所述的基于依赖树实现图数据库数据并发导入的方法,其特征在于,对点类型的导入状态进行监控和记录,包括:
4.根据权利要求3所述的基于依赖树实现图数据库数据并发导入的方法,其特征在于,所述点类型的导入状态通过map结构进行维护,其中,键表示点类型,值表示点类型的导入状态。
5.根据权利要求1所述的基于依赖树实现图数据库数据并发导入的方法,其特征在于,边类型的导入任务在所述边类型进入第一状态后的指定时间内自动启动。
6.根据权利要求1所述的基于依赖树实现图数据库数据并发导入的方法,其特征在于,还包括:在数据导入前对数据进行校验并记录校验不合格的数据,在数据导入过程中,若批量数据导入失败,则将批量数据拆分成单条数据进行重新导入,若单条数据导入失败,则记录导入失败的单条数据以及导入失败的原因。
7.一种基于依赖树实现图数据库数据并发导入的装置,其特征在于,包括:
8.一种计算机程序产品,其特征在于,所述计算机程序产品内存储有计算机指令,所述计算机指令被处理器执行时实现权利要求1-6中任一项所述方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储用于设备执行的程序代码,该程序代码包括用于执行如权利要求1-6中任一项所述方法的步骤。
10.一种电子设备,其特征在于,所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6中任一项所述方法。
