本公开的实施例涉及计算机,具体涉及数据处理任务调度方法、装置、电子设备和介质。
背景技术:
1、随着大数据时代的到来,数据处理任务的数量和复杂性不断增加,有效管理和协调数据处理任务的调用执行越来越重要。对于数据处理任务的调度,通常采用的方式为:确定数据处理任务信息集的任务优先级集。然后,根据任务优先级集,对数据处理任务信息集进行任务调度,得到任务调度信息。最后,根据任务调度信息,执行数据处理任务集。
2、然而,实践中发现,当采用上述方式对数据处理任务进行调度时,经常会存在如下技术问题一:仅通过数据处理任务信息集的任务优先级进行任务调度,考虑的影响因素比较单一,易造成任务调度效率较低,系统资源的浪费和用户体验感较低。
3、在采用技术方案来解决上述技术问题一的过程中,往往又会伴随着如下技术问题二:在任务调度信息表征任务执行异常时,如何准确高效检测任务执行异常中的异常数据处理任务信息集,以确保业务数据处理任务的执行和运行系统的稳定性。针对上述技术问题二,常规的解决方案一般是:获取任务执行异常对应的任务调度日志信息集。然后,将任务调度日志信息集输入至多元时序异常检测模型,得到异常数据处理任务信息集。然而,上述常规解决方案依然存在如下问题:由于利用任务调度日志信息作为模型的输入,没有考虑到业务数据处理任务的调用结构,以及多元时序异常检测模型仅检测一段时间内的异常,未考虑到不同时间序列之间的空间相关性,导致异常检测准确性较低,增加漏检和误检的情况的出现,延长任务执行时间和降低执行业务数据处理任务集的系统的稳定性和安全性。
4、在采用技术方案来解决上述技术问题一的过程中,往往又会伴随着如下技术问题三:如何调度业务数据处理任务集的执行顺序和业务数据处理任务的资源的分配,以提高业务数据处理任务集的执行效率和减少任务资源的浪费。针对上述技术问题三,常规的解决方案一般是:通过灰狼优化算法,对业务数据处理任务集进行任务调度处理,得到任务调度信息,并根据任务调度信息,执行业务数据处理任务集。然而,上述常规解决方案依然存在如下问题:由于灰狼优化算法采用随机初始化得到初始种群,存在很大的随机性,易造成随着执行次数的增加算法的寻优效率较低,陷入局部最优解,业务数据处理任务执行资源分配不合理,导致业务数据处理任务执行效率较低,增加任务执行时长,任务执行资源的浪费和用户体验感较差。
5、该背景技术部分中所公开的以上信息仅用于增强对本公开构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
2、本公开的一些实施例提出了数据处理任务调度方法、装置、电子设备和介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
3、第一方面,本公开的一些实施例提供了一种数据处理任务调度方法,包括:获取针对用户信用业务数据集对应的业务数据处理任务信息集,其中,上述用户信用业务数据集包括以下至少一项:用户身份信息、用户价值流转信息、用户物品获取信息,上述业务数据处理任务信息集包括以下至少一项:依赖处理任务、离散触发任务、定时处理任务;确定上述业务数据处理任务信息集包括的业务数据处理任务信息之间的任务依赖关系信息集;根据上述任务依赖关系信息集,对上述业务数据处理任务信息集对应的业务数据处理任务集进行任务调度处理,得到任务调度信息;响应于确定上述任务调度信息表征任务执行异常,确定任务执行异常对应的至少一个业务数据处理任务信息,作为异常数据处理任务信息集;对上述异常数据处理任务信息集中的每个异常数据处理任务信息进行异常根因定位,以生成任务异常根因定位信息,得到任务异常根因定位信息集;根据上述任务异常根因定位信息集,对上述异常数据处理任务信息集和剩余数据处理任务信息集进行任务资源分配处理,得到任务资源分配信息集,其中,上述剩余数据处理任务信息集为上述业务数据处理任务信息集中位于上述异常数据处理任务信息集后依赖的任务信息集;根据上述任务资源分配信息集,对上述异常数据处理任务信息集和剩余数据处理任务信息集重新进行任务调度处理,得到目标任务调度信息;根据上述任务调度信息和上述目标任务调度信息,生成针对上述业务数据处理任务信息集的任务触发信息集,以及根据上述任务触发信息集和上述任务依赖关系信息集,执行上述业务数据处理任务。
4、第二方面,本公开的一些实施例提供了一种数据处理任务调度装置,包括:获取单元,被配置成获取针对用户信用业务数据集对应的业务数据处理任务信息集,其中,上述用户信用业务数据集包括以下至少一项:用户身份信息、用户价值流转信息、用户物品获取信息,上述业务数据处理任务信息集包括以下至少一项:依赖处理任务、离散触发任务、定时处理任务;第一确定单元,被配置成确定上述业务数据处理任务信息集包括的业务数据处理任务信息之间的任务依赖关系信息集;第一任务调度单元,被配置成根据上述任务依赖关系信息集,对上述业务数据处理任务信息集对应的业务数据处理任务集进行任务调度处理,得到任务调度信息;第二确定单元,被配置成响应于确定上述任务调度信息表征任务执行异常,确定任务执行异常对应的至少一个业务数据处理任务信息,作为异常数据处理任务信息集;异常根因定位单元,被配置成对上述异常数据处理任务信息集中的每个异常数据处理任务信息进行异常根因定位,以生成任务异常根因定位信息,得到任务异常根因定位信息集;任务资源分配单元,被配置成根据上述任务异常根因定位信息集,对上述异常数据处理任务信息集和剩余数据处理任务信息集进行任务资源分配处理,得到任务资源分配信息集,其中,上述剩余数据处理任务信息集为上述业务数据处理任务信息集中位于上述异常数据处理任务信息集后依赖的任务信息集;第二任务调度单元,被配置成根据上述任务资源分配信息集,对上述异常数据处理任务信息集和剩余数据处理任务信息集重新进行任务调度处理,得到目标任务调度信息;执行单元,被配置成根据上述任务调度信息和上述目标任务调度信息,生成针对上述业务数据处理任务信息集的任务触发信息集,以及根据上述任务触发信息集和上述任务依赖关系信息集,执行上述业务数据处理任务。
5、第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
6、第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
7、本公开的上述各个实施例中具有如下有益效果:本公开的一些实施例的数据处理任务调度方法可以提高任务执行效率,提高执行任务系统的稳定性。具体来说,造成相关的任务调度效率较低,系统资源的浪费和用户体验感较低的原因在于:仅通过数据处理任务信息集的任务优先级进行任务调度,考虑的影响因素比较单一,易造成任务调度效率较低,系统资源的浪费和用户体验感较低。基于此,本公开的一些实施例的数据处理任务调度方法可以首先,获取针对用户信用业务数据集对应的业务数据处理任务信息集,其中,上述用户信用业务数据集包括以下至少一项:用户身份信息、用户价值流转信息、用户物品获取信息,上述业务数据处理任务信息集包括以下至少一项:依赖处理任务、离散触发任务、定时处理任务。在这里,业务数据处理任务信息集便于后续生成任务调度信息。其次,确定上述业务数据处理任务信息集包括的业务数据处理任务信息之间的任务依赖关系信息集。在这里,可以更全面的了解业务护具处理任务之间的执行顺序,以便后续提高任务执行效率。再次,根据上述任务依赖关系信息集,对上述业务数据处理任务信息集对应的业务数据处理任务集进行任务调度处理,得到任务调度信息。在这里,充分考虑影响任务执行的影响因素,可以提高任务调度信息的准确性和任务执行效率。随后,响应于确定上述任务调度信息表征任务执行异常,确定任务执行异常对应的至少一个业务数据处理任务信息,作为异常数据处理任务信息集。在这里,确定导致任务执行异常的异常数据处理任务信息集,可以提高确定异常的准确性,缩短异常检测的搜索范围,便于提高后续根因定位的效率。接着,对上述异常数据处理任务信息集中的每个异常数据处理任务信息进行异常根因定位,以生成任务异常根因定位信息,得到任务异常根因定位信息集。在这里,可以准确确定导致出现异常的根本原因,可以缩短恢复异常的时间。之后,根据上述任务异常根因定位信息集,对上述异常数据处理任务信息集和剩余数据处理任务信息集进行任务资源分配处理,得到任务资源分配信息集,其中,上述剩余数据处理任务信息集为上述业务数据处理任务信息集中位于上述异常数据处理任务信息集后依赖的任务信息集。在这里,可以合理分配任务执行所需要的资源,提高任务的顺利执行,减少资源的浪费。然后,根据上述任务资源分配信息集,对上述异常数据处理任务信息集和剩余数据处理任务信息集重新进行任务调度处理,得到目标任务调度信息。在这里,重新调度可以进一步保障业务数据处理任务集的顺利执行,提高执行效率。最后,根据上述任务调度信息和上述目标任务调度信息,生成针对上述业务数据处理任务信息集的任务触发信息集,以及根据上述任务触发信息集和上述任务依赖信息集,执行上述业务数据处理任务。在这里,可以保证任务的顺利执行,减少运行资源的浪费,提高用户体验感,提高执行任务的系统的稳定性。由此可得,该数据处理任务调度方法可以提高任务执行效率,提高执行任务系统的稳定性。
1.一种数据处理任务调度方法,包括:
2.根据权利要求1所述的方法,其中,所述确定所述业务数据处理任务信息集包括的业务数据处理任务信息之间的任务依赖关系信息集,包括:
3.根据权利要求1所述的方法,其中,所述根据所述任务依赖关系信息集,对所述业务数据处理任务信息集对应的业务数据处理任务集进行任务调度处理,得到任务调度信息,包括:
4.根据权利要求3所述的方法,其中,所述响应于确定所述任务监控信息集中存在表征异常的任务监控信息,确定表征异常的至少一个任务监控信息对应的至少一个业务数据处理任务信息进行再次执行,得到异常调用信息集,包括:
5.根据权利要求1所述的方法,其中,所述对所述异常数据处理任务信息集中的每个异常数据处理任务信息进行异常根因定位,以生成任务异常根因定位信息,得到任务异常根因定位信息集,包括:
6.一种数据处理任务调度装置,包括:
7.一种电子设备,包括:
8.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。