本发明涉及数据处理,尤其涉及一种云边模型处理方法、装置、存算一体芯片及相关设备。
背景技术:
1、现有技术中,云服务器和边缘服务器的数据中心通常是各自独立进行运算的。随着人工智能和万物互联技术的飞速发展,数据中心尤其是智算数据中心对低功耗、高能效需求进一步提升。乘加运算(multiply accumulate,mac)是dnn中延时和功耗占比最大的部分,周期性访存开销成为了能效的瓶颈。
2、现有技术中的云服务器和边缘服务器均需要进行模型训练和执行推理任务,为了充分利用计算资源同时降低边缘服务器的功耗,通常将模型训练集中至云服务器侧进行,由云服务器统一训练模型并下发至边缘服务器执行推理任务,但是云服务器统一训练的模型通常与边缘服务器所需执行的推理任务匹配度较低。
技术实现思路
1、本发明实施例提供一种云边模型处理方法、装置、存算一体芯片及相关设备,以解决云服务器统一训练的模型通常与边缘服务器所需执行的推理任务匹配度较低的问题。
2、第一方面,本发明实施例提供了一种云边模型处理方法,应用于云服务器,包括:
3、通过模型训练得到第一模型;
4、判断所述第一模型的性能参数是否满足边缘服务器的第一模型性能要求;
5、在所述第一模型的性能参数不满足所述第一模型性能要求的情况下,对所述第一模型进行训练,得到第二模型,所述第二模型的性能参数满足所述第一模型性能要求;
6、将所述第二模型发送至所述边缘服务器。
7、可选地,所述将所述第二模型发送至所述边缘服务器,包括:
8、判断所述第二模型与所述边缘服务器的硬件资源情况是否匹配;
9、在所述第二模型与所述边缘服务器的硬件资源情况不匹配的情况下,对所述第二模型进行压缩处理,得到压缩后的第二模型,所述压缩后的第二模型与所述边缘服务器的硬件资源情况匹配;
10、将所述压缩后的第二模型发送至所述边缘服务器。
11、可选地,所述将所述第二模型发送至所述边缘服务器之后,所述方法还包括:
12、接收所述边缘服务器发送的模型调整请求,所述模型调整请求携带第二模型性能要求;
13、基于所述第二模型性能要求对所述第二模型进行训练,得到第三模型,所述第三模型满足所述第二模型性能要求;
14、将所述第三模型发送至所述边缘服务器。
15、可选地,所述判断所述第一模型的性能参数是否满足边缘服务器的第一模型性能要求之前,所述方法还包括:
16、接收边缘服务器发送的模型训练请求,所述模型训练请求携带所述第一模型性能要求。
17、可选地,所述对所述第一模型进行训练,得到第二模型,包括:
18、基于目标训练数据对所述第一模型进行训练,得到第二模型,所述目标训练数据为所述边缘服务器发送的与所述目标推理任务关联的数据。
19、第二方面,本发明实施例提供了一种云边模型处理方法,应用于边缘服务器,包括:
20、接收云服务器下发的第二模型,所述第二模型的性能参数满足第一模型性能要求;
21、基于所述第二模型执行目标推理任务。
22、可选地,所述基于所述第二模型执行目标推理任务之后,所述方法还包括:
23、在所述第二模型的性能参数不满足第二模型性能要求的情况下,向所述边缘服务器发送模型调整请求,所述模型调整请求携带所述第二模型性能要求;
24、接收所述云服务器下发的第三模型,所述第三模型满的性能参数足所述第二模型性能要求。
25、可选地,所述接收云服务器下发的第二模型之前,所述方法还包括:
26、向云服务器发送模型训练请求,所述模型训练请求携带所述第一模型性能要求。
27、第三方面,本发明实施例提供了一种存算一体芯片,所述存算一体芯片包括处理器,所述处理器用于运行程序或指令,实现如第一方面所述的云边模型处理的步骤,或实现如第二方面所述的云边模型处理的步骤。
28、可选地,所述存算一体芯片还包括:
29、运算模块,所述运算模块包括第一运算单元、第二运算单元和第三运算单元,所述第一运算单元为存算一体单元,用于处理包含矩阵和/或向量的运算,所述第二运算单元用于处理标量的运算,所述第三运算单元用于处理除所述矩阵和/或向量的运算以及标量的运算外的运算;
30、缓冲模块,所述缓冲模块用于数据缓冲;
31、队列模块,所述队列模块用于所述运算模块处理的指令排队;
32、控制模块,所述控制模块用于控制所述队列模块、缓冲模块和运算模块。
33、第四方面,本发明实施例提供了一种云服务器,包括:
34、第一训练模块,用于通过模型训练得到第一模型;
35、判断模块,用于判断所述第一模型的性能参数是否满足边缘服务器的第一模型性能要求;
36、第二训练模块,用于在所述第一模型的性能参数不满足所述第一模型性能要求的情况下,对所述第一模型进行训练,得到第二模型,所述第二模型的性能参数满足所述第一模型性能要求;
37、第一发送模块,用于将所述第二模型发送至所述边缘服务器,所述第二模型用于所述边缘服务器执行目标推理任务。
38、第五方面,本发明实施例提供了一种边缘服务器,包括:
39、第一接收模块,用于接收云服务器下发的第二模型,所述第二模型的性能参数满足第一模型性能要求;
40、执行模块,用于基于所述第二模型执行目标推理任务。
41、第六方面,本发明实施例提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;
42、所述处理器,用于读取存储器中的程序实现如第一方面所述的方法中的步骤,或实现如第二方面所述的方法中的步骤。
43、第七方面,本发明实施例提供了一种可读存储介质,用于存储程序,所述程序被处理器执行时实现如第一方面所述的方法中的步骤,或实现如第二方面所述的方法中的步骤。
44、在本申请实施例中,通过模型训练得到第一模型;判断第一模型是否满足边缘服务器的第一模型性能要求;在第一模型不满足第一模型性能要求的情况下,对第一模型进行训练,得到第二模型,第二模型满足第一模型性能要求;将第二模型发送至边缘服务器。通过上述方法,将模型训练集中在运算能力较强的云服务器侧,边缘服务器无需自己训练每一个模型,从而降低数据中心的功耗,提高边缘服务器侧的推理效率。同时,云服务器通过对第一模型进行训练得到第二模型,可以保证下发至边缘服务器的第二模型满足边缘服务器的第一模型性能要求,提高了第二模型与目标推理任务的匹配度。
1.一种云边模型处理方法,应用于云服务器,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述第二模型发送至所述边缘服务器,包括:
3.根据权利要求1所述的方法,其特征在于,所述将所述第二模型发送至所述边缘服务器之后,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述判断所述第一模型的性能参数是否满足边缘服务器的第一模型性能要求之前,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述对所述第一模型进行训练,得到第二模型,包括:
6.一种云边模型处理方法,应用于边缘服务器,其特征在于,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述第二模型执行目标推理任务之后,所述方法还包括:
8.根据权利要求6所述的方法,其特征在于,所述接收云服务器下发的第二模型之前,所述方法还包括:
9.一种存算一体芯片,其特征在于,所述存算一体芯片包括处理器,所述处理器用于运行程序或指令,实现如权利要求1-5任一项所述的云边模型处理的步骤,或实现如权利要求6-8任一项所述的云边模型处理的步骤。
10.根据权利要求9所述的存算一体芯片,其特征在于,所述存算一体芯片还包括:
11.一种云服务器,其特征在于,包括:
12.一种边缘服务器,其特征在于,包括:
13.一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征在于,
14.一种可读存储介质,用于存储程序,其特征在于,所述程序被处理器执行时实现如权利要求1至5中任一项所述的方法中的步骤,或实现如权利要求6至8中任一项所述的方法中的步骤。