本技术属于数据流通,特别涉及一种算力资源的调度方法、装置、电子设备和存储介质。
背景技术:
1、在相关技术中,可以通过数据共享服务网络等技术实现网络化的数据流通,即,可以通过集中化的数据流通调度平台与分布式的数据计算节点组成数据流通网络,以实现数据流通;然而,数据计算节点的算力资源无法动态调配,不能满足计算任务的算力资源使用需求。
技术实现思路
1、本技术实施例提供一种算力资源的调度方法、装置、电子设备和存储介质。
2、本技术实施例提供一种算力资源的调度方法,应用于数据服务节点(dataservice node,dsn)中,所述方法包括:
3、接收数据流通调度平台(data service platform,dsp)发送的针对第一计算任务的算力资源使用请求;
4、在所述dsn的算力资源池不满足所述算力资源使用请求的情况下,向所述dsp发送算力资源申请请求,所述算力资源申请请求表示获取算力资源分配信息的请求,所述算力资源分配信息至少包括新分配的算力资源池的标识;
5、接收所述dsp发送的算力资源分配信息,根据所述算力资源分配信息中所述新分配的算力资源池的标识,在所述新分配的算力资源池与所述dsn的算力资源池上联合完成所述第一计算任务。
6、在一些实施例中,在所述新分配的算力资源池与所述dsn的算力资源池上联合完成所述第一计算任务后,所述方法还包括:接收所述dsp发送的算力资源释放请求;所述算力资源释放请求用于请求释放所述第一计算任务使用的算力资源;向所述dsp发送针对所述算力资源释放请求的响应信息。
7、可以看出,在完成第一计算任务后,dsn可以通过与dsp的交互,向dsp发送针对算力资源释放请求的响应信息,有利于dsp及时释放在执行第一计算任务时使用的算力资源池,从而,有利于基于释放的算力资源池执行后续的计算任务。
8、在一些实施例中,所述根据所述算力资源分配信息中所述新分配的算力资源池的标识,在所述新分配的算力资源池与所述dsn的算力资源池上联合完成所述第一计算任务,包括:根据预先制定的任务切割策略,将所述第一计算任务切割为多个子任务;根据预先制定的任务分发策略和所述新分配的算力资源池的标识,将所述多个子任务分发至所述新分配的算力资源池和所述dsn的算力资源池中,以完成所述第一计算任务。
9、可以看出,本技术实施例可以根据预先制定的任务切割策略以及预先制定的任务分发策略,合理地将第一计算任务切割为多个子任务、以及将多个子任务合理地分发至资源池中,有利于优化第一计算任务的执行效率。
10、在一些实施例中,所述根据预先制定的任务切割策略,将所述第一计算任务切割为多个子任务,包括:采用以下至少一种任务切割方式,将所述第一计算任务切割为多个子任务:根据所述第一计算任务的数据特征进行所述第一计算任务的切割;根据所述第一计算任务的功能进行所述第一计算任务的切割;在所述新分配的算力资源池和所述dsn的算力资源池中,根据每个算力资源池的资源利用率进行所述第一计算任务的切割;根据所述每个算力资源池的响应时间进行所述第一计算任务的切割。
11、可以看出,本技术实施例可以根据第一计算任务的数据特征或第一计算任务的功能,对第一计算任务进行合理的切割;也可以根据每个算力资源池的资源利用率或算力资源池的响应时间,将第一计算任务切割为多个子任务,这样,可以根据算力资源池的相关信息自适应地确定任务切割策略。
12、在一些实施例中,所述根据预先制定的任务分发策略和所述新分配的算力资源池的标识,将所述多个子任务分发至所述新分配的算力资源池和所述dsn的算力资源池中,包括:采用以下至少一种任务分发方式,并根据所述新分配的算力资源池的标识将所述多个子任务分发至所述新分配的算力资源池和所述dsn的算力资源池中:在所述新分配的算力资源池和所述dsn的算力资源池中,根据每个算力资源池的优先级,进行所述多个子任务的任务分发;根据所述每个算力资源池的当前负载,采用负载均衡策略进行所述多个子任务的任务分发;根据所述每个算力资源池的计算成本和性能指标中的至少一项,进行所述多个子任务的任务分发;根据所述每个算力资源池的响应时间,进行所述多个子任务的任务分发;根据所述每个算力资源池的资源利用率,进行所述多个子任务的任务分发;根据所述每个算力资源池的健康状态,进行所述多个子任务的任务分发;根据所述每个算力资源池的性能表现的预测结果,进行所述多个子任务的任务分发。
13、可以看出,根据每个算力资源池的优先级,可以合理地进行多个子任务的任务分发;在根据每个算力资源池的当前负载,采用负载均衡策略进行多个子任务的任务分发时,有利于实现负载均衡和资源的最优利用;在根据每个算力资源池的计算成本和性能指标中的至少一项,进行多个子任务的任务分发时,可以实现成本优化或任务执行效率的优化;在根据每个算力资源池的响应时间,进行多个子任务的任务分发时,有利于实现多个子任务对应的算力资源池的整体响应时间的优化;在根据每个算力资源池的资源利用率,进行多个子任务的任务分发时,有利于实现各个算力资源池中资源的均衡利用;在根据所述每个算力资源池的健康状态,进行多个子任务的任务分发时,有利于根据算力资源池的故障自适应地调整任务分发策略,有利于更加可靠地实现任务分发;在根据每个算力资源池的性能表现的预测结果,进行所述多个子任务的任务分发时,有利于根据每个算力资源池的性能表现的预测结果,提前确定算力资源池的潜在性能问题,从而有利于根据算力资源池的潜在性能问题更加合理地进行任务分发。
14、在一些实施例中,所述算力资源使用请求中携带有所述第一计算任务的计算结果的返回时间要求;在接收dsp发送的针对所述第一计算任务的算力资源使用请求后,所述方法还包括:在所述dsn的算力资源池不满足所述返回时间要求时,确定所述dsn的算力资源池不满足所述算力资源使用请求。
15、可以看出,在算力资源使用请求中携带有所述第一计算任务的计算结果的返回时间要求时,dsn可以通过评估自身算力资源池是否满足返回时间要求,准确地确定出dsn的算力资源池不满足算力资源使用请求的情况。
16、本技术实施例还提供一种算力资源的调度方法,应用于数据需求节点(datarequrement node,drn)中,所述方法包括:
17、向dsp发送针对第一计算任务的算力资源使用请求;
18、获取所述第一计算任务的计算结果;
19、其中,所述dsp用于向目标dsn发送所述算力资源使用请求,所述目标dsn用于在自身的算力资源池不满足所述算力资源使用请求的情况下,向dsp发送算力资源申请请求,接收所述dsp发送的算力资源分配信息,根据所述算力资源分配信息中新分配的算力资源池的标识,在所述新分配的算力资源池与所述目标dsn的算力资源池上联合完成所述第一计算任务,得出所述第一计算任务的计算结果;所述算力资源申请请求表示获取算力资源分配信息的请求,所述算力资源分配信息至少包括新分配的算力资源池的标识。
20、在一些实施例中,所述算力资源使用请求至少携带有目标dsn的标识;在向dsp发送针对第一计算任务的算力资源使用请求前,所述方法还包括:向所述dsp发送检索请求,所述检索请求至少用于请求检索dsn;接收所述dsp发送的检索结果,所述检索结果至少包括目标dsn的标识。
21、可以看出,drn可以在发送检索请求后,根据接收到的检索结果合理地确定目标dsn的标识,从而可以通过dsp将算力资源使用请求发送至目标dsn。
22、本技术实施例还提供一种算力资源的调度方法,应用于dsp中,所述方法包括:
23、接收drn发送的针对第一计算任务的算力资源使用请求;
24、将所述算力资源使用请求转发至目标dsn;
25、接收目标dsn发送的算力资源申请请求,所述算力资源申请请求表示获取算力资源分配信息的请求,所述算力资源分配信息至少包括新分配的算力资源池的标识;
26、根据所述算力资源申请请求确定所述算力资源分配信息;
27、向所述目标dsn发送算力资源分配信息,使所述目标dsn根据所述算力资源分配信息中所述新分配的算力资源池的标识,在所述新分配的算力资源池与所述dsn的算力资源池上联合完成所述第一计算任务。
28、在一些实施例中,在接收drn发送的针对第一计算任务的算力资源使用请求之前,所述方法还包括:接收多个dsn发送的算力资源目录信息;算力资源目录信息用于表示所述多个dsn中每个dsn提供的算力资源池的目录;所述根据所述算力资源申请请求确定所述算力资源分配信息,包括:根据所述算力资源申请请求和所述多个dsn发送的算力资源目录信息,确定所述算力资源分配信息。可以看出,dsp可以根据多个dsn发送的算力资源目录信息,合理地确定算力资源分配信息。
29、本技术实施例还提供一种算力资源的调度装置,所述装置应用于dsn中,所述装置包括:
30、接收模块,用于接收dsp发送的针对第一计算任务的算力资源使用请求;
31、第一处理模块,用于在所述dsn的算力资源池不满足所述算力资源使用请求的情况下,向所述dsp发送算力资源申请请求;接收所述dsp发送的算力资源分配信息,根据所述算力资源分配信息中新分配的算力资源池的标识,在所述新分配的算力资源池与所述dsn的算力资源池上联合完成所述第一计算任务;所述算力资源申请请求表示获取算力资源分配信息的请求。
32、本技术实施例还提供一种算力资源的调度装置,所述装置应用于drn中,所述装置包括:
33、第一收发模块,用于向数据流通调度平台dsp发送针对第一计算任务的算力资源使用请求;
34、获取模块,用于获取所述第一计算任务的计算结果;
35、其中,所述dsp用于向目标dsn发送所述算力资源使用请求,所述目标dsn用于在自身的算力资源池不满足所述算力资源使用请求的情况下,向dsp发送算力资源申请请求,接收所述dsp发送的算力资源分配信息,根据所述算力资源分配信息中新分配的算力资源池的标识,在所述新分配的算力资源池与所述目标dsn的算力资源池上联合完成所述第一计算任务,得出所述第一计算任务的计算结果;所述算力资源申请请求表示获取算力资源分配信息的请求。
36、本技术实施例还提供一种算力资源的调度装置,所述装置应用于dsp中,所述装置包括第二收发模块和第二处理模块,其中,
37、第二收发模块,用于接收drn发送的针对第一计算任务的算力资源使用请求;将所述算力资源使用请求转发至目标dsn;接收目标dsn发送的算力资源申请请求,所述算力资源申请请求表示获取算力资源分配信息的请求,所述算力资源分配信息至少包括新分配的算力资源池的标识;
38、第二处理模块,用于根据所述算力资源申请请求确定所述算力资源分配信息;
39、所述第二收发模块,还用于向所述目标dsn发送算力资源分配信息,使所述目标dsn根据所述算力资源分配信息中所述新分配的算力资源池的标识,在所述新分配的算力资源池与所述dsn的算力资源池上联合完成所述第一计算任务。
40、本技术实施例还提供了一种电子设备,所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序以执行上述任意一种算力资源的调度方法。
41、本技术实施例还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任意一种算力资源的调度方法。
42、可以看出,dsn可以接收针对第一计算任务的算力资源使用请求,在确定自身算力资源池不满足算力资源使用请求时,可以通过向dsp发送算力资源申请请求,确定新分配的算力资源池;即,在自身算力资源池不满足算力资源使用请求时可以动态调配算力资源池,从而,可以在新分配的算力资源池与dsn的算力资源池上完成第一计算任务,因此,新分配的算力资源池与dsn的算力资源池可以满足第一计算任务的算力资源使用需求,从而可以可靠地完成第一计算任务。
1.一种算力资源的调度方法,其特征在于,应用于数据服务节点dsn中,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在所述新分配的算力资源池与所述dsn的算力资源池上联合完成所述第一计算任务后,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述算力资源分配信息中所述新分配的算力资源池的标识,在所述新分配的算力资源池与所述dsn的算力资源池上联合完成所述第一计算任务,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据预先制定的任务切割策略,将所述第一计算任务切割为多个子任务,包括:
5.根据权利要求3所述的方法,其特征在于,所述根据预先制定的任务分发策略和所述新分配的算力资源池的标识,将所述多个子任务分发至所述新分配的算力资源池和所述dsn的算力资源池中,包括:
6.根据权利要求1至5任一项所述的方法,其特征在于,所述算力资源使用请求中携带有所述第一计算任务的计算结果的返回时间要求;
7.一种算力资源的调度方法,其特征在于,应用于数据需求节点drn中,所述方法包括:
8.根据权利要求7所述的方法,其特征在于,所述算力资源使用请求至少携带有目标dsn的标识;
9.一种算力资源的调度方法,其特征在于,应用于数据流通调度平台dsp中,所述方法包括:
10.根据权利要求9所述的方法,其特征在于,在接收drn发送的针对第一计算任务的算力资源使用请求之前,所述方法还包括:接收多个dsn发送的算力资源目录信息;算力资源目录信息用于表示所述多个dsn中每个dsn提供的算力资源池的目录;
11.一种算力资源的调度装置,其特征在于,应用于数据服务节点dsn中,所述装置包括:
12.一种算力资源的调度装置,其特征在于,应用于数据需求节点drn中,所述装置包括:
13.一种算力资源的调度装置,其特征在于,应用于数据流通调度平台dsp中,所述装置包括第二收发模块和第二处理模块,其中,
14.一种电子设备,其特征在于,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
15.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至10任一项所述的算力资源的调度方法。