本发明属于计算机,尤其涉及一种任务调度方法、系统、设备及计算机存储介质。
背景技术:
1、随着数字经济的蓬勃发展,车联网、ar/vr、工业互联网等新业态、新模式加速涌现,对算力资源和网络资源的需求也空前提高。算力网络是随着传统算力资源中心化逐渐下沉到边缘行业趋势下,出现的一种新的资源解决方案,在算力网络中如何高效地协同全局不同地域、不同层级的算力,实现对计算任务精准、高效地调度成为当前一项新课题。
技术实现思路
1、本发明实施例提供一种任务调度方法、系统、设备及计算机存储介质,在算力网络中进行任务调度时,能够有效降低算力节点筛选时的计算量、网络数据传输量和系统资源消耗,提高任务调度效率。
2、第一方面,本发明实施例提供一种任务调度方法,应用于任务调度系统,该系统包括算网服务器子系统和多个算网资源编排子系统,各个该算网资源编排子系统分别部署在不同资源池中,该方法包括:
3、该算网服务子系统对接收到的用户任务进行解构,得到多个原子任务以及各个原子任务的资源需求;
4、该算网服务子系统向至少一个候选资源池广播该各个原子任务的资源需求,该至少一个候选资源池是能够满足该各个原子任务的资源需求的最小资源池组合;
5、该候选资源池中的该算网资源编排子系统基于该各个原子任务的资源需求、该候选资源池的实时资源信息,在该候选资源池所包括的算力节点中确定出多个候选算力节点;
6、该候选资源池中的该算网资源编排子系统将各个该候选算力节点的资源信息、该候选资源池的实时资源信息发送至该算网服务子系统;
7、该算网服务器子系统基于各个该候选算力节点的资源信息、该候选资源池的实时资源信息、该各个原子任务的资源需求,在该多个候选算力节点中确定目标算力节点;
8、该算网服务器子系统将该原子任务调度至该目标算力节点进行处理。
9、第二方面,本发明实施例提供了一种任务调度系统,该系统包括算网服务器子系统和多个算网资源编排子系统,各个该算网资源编排子系统分别部署在不同资源池中;
10、该算网服务子系统,用于对接收到的用户任务进行解构,得到多个原子任务以及各个原子任务的资源需求;向至少一个候选资源池广播该各个原子任务的资源需求,该至少一个候选资源池是能够满足该各个原子任务的资源需求的最小资源池组合;
11、该候选资源池中的该算网资源编排子系统,用于基于该各个原子任务的资源需求、该候选资源池的实时资源信息,在该候选资源池所包括的算力节点中确定出多个候选算力节点;将各个该候选算力节点的资源信息、该候选资源池的实时资源信息发送至该算网服务子系统;
12、该算网服务器子系统,用于基于各个该候选算力节点的资源信息、该候选资源池的实时资源信息、该各个原子任务的资源需求,在该多个候选算力节点中确定目标算力节点;将该原子任务调度至该目标算力节点进行处理。
13、第三方面,本发明实施例提供了一种计算机设备,该设备包括:处理器,以及存储有计算机程序指令的存储器;该处理器读取并执行该计算机程序指令,以实现上述任意一项任务调度方法。
14、第四方面,本发明实施例提供了一种计算机可读存储介质,其特征在于,该计算机存储介质上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述任意一项任务调度方法。
15、在本发明实施例提供的技术方案中,系统对用户任务进行解构,得到多个原子任务以及各个原子任务的资源需求,确定满足该资源需求的最小资源池组合,由该最小资源池组合中的各个候选资源池根据本地实时资源信息、原子任务的资源需求,进行算力节点初选,得到能够处理本次任务的候选算力节点,再根据候选资源池反馈的信息,从候选算力节点中筛选出适合处理各个原子任务的目标算力节点,从而进行任务调度,通过与资源池进行数据交互,先由最小资源池组合初选算力节点,再由系统服务侧进行终选算力节点,能够有效降低算力节点筛选时的计算量、网络数据传输量和系统资源消耗,提高任务调度效率。
1.一种任务调度方法,其特征在于,应用于任务调度系统,所述系统包括算网服务器子系统和多个算网资源编排子系统,各个所述算网资源编排子系统分别部署在不同资源池中,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述算网服务子系统包括算网资源管理模块和算网任务调度模块,所述算网服务子系统向至少一个候选资源池广播所述各个原子任务的资源需求之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述算网资源管理模块获取各个资源池中资源的算力特征,包括:
4.根据权利要求3所述的方法,其特征在于,所述算网资源编排子系统包括算网资源感知模块,所述算网资源管理模块获取所述各个资源池的资源信息之前,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述算网服务子系统包括算网需求拆解模块,所述算网服务子系统对接收到的用户任务进行解构,得到多个原子任务以及各个原子任务的资源需求,包括:
6.根据权利要求1所述的方法,其特征在于,所述算网服务子系统包括算网资源管理模块,所述算网服务器子系统基于各个所述候选算力节点的资源信息、所述候选资源池的实时资源信息、所述各个原子任务的资源需求,在所述多个候选算力节点中确定目标算力节点,包括:
7.一种任务调度系统,其特征在于,所述系统包括算网服务器子系统和多个算网资源编排子系统,各个所述算网资源编排子系统分别部署在不同资源池中;
8.根据权利要求7所述的系统,其特征在于,所述算网服务子系统包括算网资源管理模块和算网任务调度模块;
9.根据权利要求8所述的系统,其特征在于,所述算网资源管理模块,用于获取所述各个资源池的资源信息;基于所述各个资源池的资源信息,对所述各个资源池进行算力标识;基于所述各个资源池的算力标识构建全局算力特征模型,所述全局算力特征模型用于指示所述各个资源池中资源的算力特征。
10.根据权利要求9所述的系统,其特征在于,所述算网资源编排子系统包括算网资源感知模块,用于获取本地的资源池的算力资源和网络资源;对所述算力资源和所述网络资源进行归一化度量,得到所述资源池的资源信息;将所述资源池的资源信息注册至所述算网服务子系统。
11.根据权利要求7所述的系统,其特征在于,所述算网服务子系统包括算网需求拆解模块,用于接收所述用户任务;基于参考粒度标准对所述用户任务进行解构,得到多个符合所述参考粒度标准的原子任务;对运行所述各个原子任务所需的算力资源和网络资源进行归一化度量,得到所述各个原子任务的资源需求。
12.根据权利要求7所述的系统,其特征在于,所述算网服务子系统包括算网资源管理模块,用于基于各个所述候选算力节点的资源信息、所述候选资源池的实时资源信息、所述各个原子任务的资源需求,确定各个所述候选算力节点的综合权重,所述综合权重用于指示所述候选算力节点中的资源与所述原子任务的资源需求之间的匹配度;将所述综合权重满足参考条件的所述候选算力节点确定为所述目标算力节点。
13.一种计算机设备,其特征在于,所述设备包括:处理器,以及存储有计算机程序指令的存储器;所述处理器读取并执行所述计算机程序指令,以实现如权利要求1-6任意一项所述的任务调度方法。
14.一种计算机可读存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的任务调度方法。