本发明涉及通信，特别是涉及一种任务卸载与异构计算系统及计算资源分配方法。
背景技术：
1、随着5g的发展以及人工智能，ar等技术在商业上的逐步应用，物联网应用爆炸式增长，如高精度装配，智能控制等。然而，物联网设备固有的资源匮乏特性使其无法应对计算密集型，时延敏感型任务。移动云计算(mcc)将任务发送到具有大量计算资源的云服务器来缓解这一问题，但是广域网的网络传输状况多变且会引入较高的传输时延，无法满足物联网应用的时延需求。多接入边缘计算(mec)通常将边缘计算服务器与基站或接入点部署在同一位置，通过将任务卸载到网络边缘的计算节点来为应用提供计算资源并保证较低的计算时延。然而，边缘计算设备的计算资源仍然是有限的，因此mec无法应对高并发的大量计算任务。而云-边协同架构结合了mcc与mec的优势，边缘服务器(edge servers，es)和云服务器(cloud servers，cs)的计算资源为计算密集型任务提供低时延的计算服务。
2、目前，物联网场景中的机器视觉等应用广泛使用深度学习技术，且越来越多的模型训练与推理任务被部署在移动设备上。因此，通用的cpu计算架构已经无法智能、高效地处理此类特殊计算需求，某些复杂任务往往需要多种计算资源的有效组合(如cpu+gpu等)才能够完成。研究基于cpu-gpu异构计算框架的任务卸载和异构资源分配策略是十分必要的，即根据任务计算需求和系统中各计算节点的资源可用信息，为任务选择合适的计算节点并分配合理的cpu与gpu资源。
技术实现思路
1、本发明的目的是提供一种任务卸载与异构计算系统及计算资源分配方法，旨在计算资源受限的物联网场景中，以最小化长期平均时延为优化目标，训练出高效的任务卸载与cpu-gpu异构计算资源分配策略。
2、为实现上述目的，本发明提供了如下方案：
3、一方面提供了一种任务卸载与异构计算系统，包括：
4、物联网设备、若干无线接入点、边缘计算服务器、云服务器、sdn控制器和计算编排器；
5、所述计算编排器，用于通过第一优化目标和多头决策的ppo模型对任务卸载和异构计算资源进行分配，获取任务卸载和异构计算资源分配方案，其中第一优化目标为最小化长期平均时延；
6、所述sdn控制器，用于根据所述方案将所述物联网设备生成的计算任务调度到所述边缘计算服务器和所述云服务器，其中所述物联网设备通过若干无线接入点与所述边缘计算服务器有线连接；
7、所述边缘计算服务器和所述云服务器，用于对所述计算任务进行计算，所述边缘计算服务器和所述云服务器均具配置有cpu和gpu计算资源。
8、另一方面，一种任务卸载与异构计算系统的计算资源分配方法包括
9、获取第一优化目标和第一优化目标约束条件，基于所述第一优化目标约束条件中任务执行时间小于任务的最大可容忍时延虚拟队列的约束条件，获取虚拟队列，其中所述第一优化目标为最小化长期平均时延；
10、基于所述虚拟队列，获取真实队列和虚拟队列合并队列；
11、基于lyapunov函数、所述真实队列和虚拟队列合并队列，获取第一模型；
12、基于所述第一模型和最小化漂移加惩罚算法，将所述第一优化目标转化为第二优化目标并获取所述第二优化目标约束条件；
13、基于将所述第二优化目标转化为马尔可夫决策过程，并将所述第二优化目标的约束条件转化为与动作和奖励相关的隐式约束；
14、基于转化后的所述第二优化目标和所述第二优化目标的约束条件，利用多头决策的ppo模型对任务卸载和异构计算资源进行分配。
15、可选的，所述长期平均时延为：
16、
17、其中，为所有物联网设备产生的任务在n个时隙内的平均执行时延，为时隙的总数量，n为时隙n，m为物联网设备的总数量，m为物联网设备，为任务执行时间。
18、可选的，所述第一优化目标为：
19、
20、所述第一优化目标约束条件为：
21、
22、其中，为所有物联网设备产生的任务在n个时隙内的平均执行时延，第m个物联网设备在时隙n的卸载方式，和分别为任务分配cpu与gpu计算资源时，分配的cpu核心数量与gpu核心数量，为所有无线接入点的集合，b为第b个无线接入点，为时隙的总数量，为物联网设备的总数量，为任务的最大可容忍时延，为任务执行时间，为云服务器的最大可分配的cpu资源数量，为边缘服务器的最大可分配的cpu资源数量，为云服务器的最大可分配的gpu资源数量，为边缘服务器的最大可分配的gpu资源数量，为对*取期望，为边缘计算器的cpu和gpu等待队列的计算量，为云服务器的cpu和gpu等待队列的计算量。
23、可选的，所述第二优化目标为：
24、
25、其中，v是一个平衡队列长度与执行时延的控制因子，和分别表示第个b边缘计算服务器的cpu和gpu等待队列的计算量，为任务在计算阶段消耗的浮点运算数在任务总浮点运算数中的占比，为任务在计算阶段中gpu计算任务消耗的浮点运算数占比，为任务执行需要消耗的浮点运算数，和分别为云服务器的cpu和gpu等待队列的计算量，zm(n)为与相关的虚拟队列；
26、所述第二优化目标约束条件为：
27、
28、可选的，基于将所述第二优化目标转化为马尔可夫决策过程包括：
29、获取状态空间s(n)：
30、
31、其中，为第n个时隙所有物联网设备的状态信息，和分别为边缘计算服务器、云服务器的cpu以及gpu资源空闲量，和分别为边缘计算服务器、云服务器在时隙n时的等待队列积压情况；
32、获取动作空间a(n)：
33、
34、其中，和分别为分配给的cpu核心数以及gpu核心数；
35、根据环境，获取转移概率，并预设奖励函数和预设折扣因子；
36、基于所述状态空间、所述动作空间、所述转移概率、所述预设奖励函数和所述预设折扣因子将所述第二优化目标转化为马尔可夫决策过程，获取第三优化目标及第三优化目标的约束条件，将所述第三优化目标作为所述多头决策的ppo模型的目标函数，其中，所述第三优化目标为最大化长期奖励为目标的最佳动作策略，所述第三优化目标的约束条件与所述第二优化目标的约束条件相同。
37、可选的，所述第三优化目标为：
38、
39、其中，qπ(s(n),a(n)为状态s(n)下选择动作a(n)的长期累积奖励的期望，r(n)为第n个时隙的奖励值，u为折扣因子。
40、可选的，将所述第二优化目标的约束条件转化为与动作和奖励相关的隐式约束包括：
41、将约束条件中优化为离散取值的整数，并将ppo算法的动作输出设置为离散输出；
42、将约束条件中的和乘连续的资源分配因子κ；
43、在奖励函数中引入惩罚项，获取任务时延、能量以及真实队列长度的奖励函数。
44、可选的，所述多头决策的ppo模型包括actor网络和critic网络，所述actor网络包含encoder和若干输出决策头，所述encoder采用mlp网络编码状态信息，所述若干输出策头输出的动作组合成完整的动作，其中所述完整的动作即为任务卸载和异构计算资源分配方案。
45、可选的，所述多头决策的ppo模型的综合损失函数为:
46、
47、其中，为对第n个时隙内的*取期望，为第n个时隙内ppo算法的截断损失，θ为ppo算法中actor的网络参数，c1为lv(ω)的加权系数，lv(ω)为ppo算法的价值函数的均方误差，c2为的加权系数，为动作熵。
48、本发明的有益效果为：sdn作为b5g，6g网络中的关键使能技术，其将网络的控制平面与转发平面分离来更加高效地管理网络中的资源。值得注意的是，sdn技术能够通过sdn控制器收集整个网络中的信道、服务器负载、任务计算请求等信息，并通过北向接口向特定应用提供数据以及命令接口。因此，sdn能够与mec技术自然地融合起来，从而完成云-边-端协同计算的高效编排，即通过在sdn的应用平面构建协同计算编排器(collaborativecomputing orchestrator，cco)来高效地生成任务执行决策。本发明在计算资源受限的物联网场景中，以最小化长期平均时延为优化目标，训练出高效的任务卸载与cpu-gpu异构计算资源分配策略。
49、本发明采用mh-ppo算法高效地训练联合任务卸载与异构资源分配的最优策略，通过多头的输出动作设计，使决策变量能够共享全局特征的同时通过局部特征输出动作。这样的网络设计使得每个决策变量都有单独的决策头，减少了训练过程中多个决策变量之间的干扰。同时，mh-ppo具有高通用性，由于将每个决策头分离，所以该网络支持混合动作空间的输出，即同时输出连续动作与离散动作，使mh-ppo能够应对复杂的决策空间，相较于通过一个网络同时输出多个动作的网络结构，多头的设计支持动作输出前根据需要选择多个不同类型的激活函数，从而输出适合场景的混合动作。
1.一种任务卸载与异构计算系统，其特征在于，包括：
2.一种任务卸载与异构计算系统的计算资源分配方法，其特征在于，包括：
3.根据权利要求2所述的任务卸载与异构计算资源分配方法，其特征在于，所述长期平均时延为：
4.根据权利要求2所述的任务卸载与异构计算资源分配方法，其特征在于，所述第一优化目标为：
5.根据权利要求4所述的任务卸载与异构计算资源分配方法，其特征在于，所述第二优化目标为：
6.根据权利要求4所述的任务卸载与异构计算资源分配方法，其特征在于，基于将所述第二优化目标转化为马尔可夫决策过程包括：
7.根据权利要求6所述的任务卸载与异构计算资源分配方法，其特征在于，所述第三优化目标为：
8.根据权利要求5所述的任务卸载与异构计算资源分配方法，其特征在于，将所述第二优化目标的约束条件转化为与动作和奖励相关的隐式约束包括：
9.根据权利要求2所述的任务卸载与异构计算资源分配方法，其特征在于，所述多头决策的ppo模型包括actor网络和critic网络，所述actor网络包含encoder和若干输出决策头，所述encoder采用mlp网络编码状态信息，所述若干输出决策头输出的动作组合成完整的动作，其中所述完整的动作即为任务卸载和异构计算资源分配方案。
10.根据权利要求2所述的任务卸载与异构计算资源分配方法，其特征在于，所述多头决策的ppo模型的综合损失函数为:
