本发明涉及数据处理,尤其涉及一种取数方法及装置。
背景技术:
1、随着企业业务的快速发展,取数需求呈现增长趋势。自助取数为零开发经验的业务人员提供快速便捷获取数据的能力,用户可以随时随地发起取数进行业务分析、营销支撑等操作,节约人力成本,缩短取数流程,提高工作效率,对企业数字化转型有着战略性意义。
2、现有的自助取数方法从集成的数据仓库中的数据出发,通过已构建的多维数据模型对数据从多种可能的角度进行快速读取。it(information technology,互联网技术)人员新建自助取数场景,根据自助取数需求配置脚本信息。
3、现有的自助取数方法的缺点包括:1、需要it人员新建自助取数场景,根据自助取数需求配置脚本信息。每次新增取数需求都需要新建取数场景,场景的通用性和可扩展性较差。每次取数都需要it人员的介入,导致取数时效性和灵活性较差。2、需要预先将分散在不同业务域的数据模型同步至集成数据仓库,导致模型数据可能重复抽取多份,产生数据泄露风险,同时数据同步过程消耗时间较长,增加了取数前置依赖的时长和取数仓库存储资源的浪费。
技术实现思路
1、针对现有技术存在的问题,本发明实施例提供一种取数方法及装置。
2、本发明提供一种取数方法,包括:
3、根据各数据仓库中业务数据的基线模型,构建取数模型;
4、获取业务人员对所述取数模型的取数任务配置;
5、使用取数任务执行引擎根据所述取数任务配置,从所述数据仓库中得到取数结果。
6、根据本发明提供的一种取数方法,所述根据各数据仓库中业务数据的基线模型,构建取数模型,包括:
7、根据多种取数场景对应的原取数字段,将所述各数据仓库中业务数据的基线模型进行合并;
8、向合并后的所述基线模型补录所述多种取数场景对应的新增取数字段,得到所述取数模型。
9、根据本发明提供的一种取数方法,所述取数任务配置包括对所述取数模型的选取、对选取的所述取数模型的关联、对所述取数模型中数据批次的选取、对所述取数模型中取数字段的筛选和对所述取数模型的取数条件的配置。
10、根据本发明提供的一种取数方法,所述使用取数任务执行引擎根据所述取数任务配置,从所述数据仓库中得到取数结果,包括:
11、使用取数任务执行引擎对所述取数任务配置进行解析;
12、根据解析后的所述取数任务配置,生成sql脚本;
13、执行所述sql脚本,从所述数据仓库中得到取数结果。
14、根据本发明提供的一种取数方法,所述执行所述sql脚本,从所述数据仓库中得到取数结果,包括:
15、在所述sql脚本中的取数模型属于同一个所述数据仓库的情况下,执行所述sql脚本从所述数据仓库中得到取数结果;
16、在所述sql脚本中的取数模型属于不同所述数据仓库的情况下,执行所述sql脚本从各数据仓库中得到取数结果,使用hadoop平台继续执行所述sql脚本,根据所述各数据仓库中得到取数结果得到最终的所述取数结果。
17、根据本发明提供的一种取数方法,在所述执行所述sql脚本,从所述数据仓库中得到取数结果之后,还包括:
18、将所述取数任务配置与取数场景进行关联。
19、根据本发明提供的一种取数方法,在所述将所述取数任务配置与取数场景进行关联之后,还包括:
20、在所述业务人员选中所述取数场景后,使用取数任务执行引擎根据所述取数场景关联的取数任务配置,从所述数据仓库中得到取数结果;或者,
21、在所述业务人员选中所述取数场景后,根据所述业务人员对所述取数场景关联的取数任务配置中取数模型的取数条件和数据批次的编辑结果,从所述数据仓库中得到取数结果。
22、本发明还提供一种取数装置,包括:
23、构建模块,用于根据各数据仓库中业务数据的基线模型,构建取数模型;
24、配置模块,用于获取业务人员对所述取数模型的取数任务配置;
25、取数模块,用于使用取数任务执行引擎根据所述取数任务配置,从所述数据仓库中得到取数结果。
26、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述取数方法。
27、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述取数方法。
28、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述取数方法。
29、本发明提供的取数方法及装置,通过将各数据仓库中业务数据的基线模型作为输入,通过构建自助取数模型、配置自助取数任务和取数引擎执行取数任务,最终输出取数结果,利用现有各数据仓库中的业务数据基线模型,在不重复构建统一数据模型库的前提下,无需it人员的介入,由业务人员通过语义化配置方式满足不同业务场景的取数任务执行,提高取数效率和灵活性,避免集成数据库导致的数据泄露安全风险和存储资源的浪费,提高数据安全性。
1.一种取数方法,其特征在于,包括:
2.根据权利要求1所述的取数方法,其特征在于,所述根据各数据仓库中业务数据的基线模型,构建取数模型,包括:
3.根据权利要求1所述的取数方法,其特征在于,所述取数任务配置包括对所述取数模型的选取、对选取的所述取数模型的关联、对所述取数模型中数据批次的选取、对所述取数模型中取数字段的筛选和对所述取数模型的取数条件的配置。
4.根据权利要求1-3任一所述的取数方法,其特征在于,所述使用取数任务执行引擎根据所述取数任务配置,从所述数据仓库中得到取数结果,包括:
5.根据权利要求4所述的取数方法,其特征在于,所述执行所述sql脚本,从所述数据仓库中得到取数结果,包括:
6.根据权利要求5所述的取数方法,其特征在于,在所述执行所述sql脚本从所述数据仓库中得到取数结果之后,还包括:
7.根据权利要求6所述的取数方法,其特征在于,在所述将所述取数任务配置与取数场景进行关联之后,还包括:
8.一种取数装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述取数方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述取数方法。