本技术涉及计算机,尤其涉及一种基于联邦学习算法的互联互通方法、装置、架构、设备及存储介质。
背景技术:
1、解耦联邦学习框架的底层技术实现,通过规范合作双方的数据格式要求、任务启动要求以及资源调度策略,需要合作双方在协作任务时,逐步骤、逐层地进行数据格式的确认、协调、统一,进而协调任务启动请求,任务启动后,还要协调统一资源调度策略,实现的成本高,代价大,因为需要交互、确认的频次高,无疑加剧了通信与计算开销,同时最后形成的统一规范仅限于本次协作的双方,无法迁移推广,局限性太大。
2、通过约定密文数据传输方法,达到节点之间互传数据,实现异构联邦学习平台的互联互通。联邦学习过程包括业务应用层、管理服务层、算法框架层以及基础设施资源层这些层与层之间以及不同节点的同层之间复杂的数据传输,约定统一的密文传输方式,实现难度大,且仅限于一些公开、公认的联邦学习算法,一些厂商独有的算法包含独有的逻辑与加密方式,不可能公开形成统一的密文方式,因而本技术技术实现局限性大,适用范围小。
3、通过规范节点间协作任务的计算原语,实现不同联邦学习系统的互联互通。联邦学习任务涉及的计算原语种类繁杂,且不同算法之间的差异性较大,包括加密原语、多媒体个人电脑(multimedia personal computer,mpc)原语、同态原语、摘要原语以及传输原语等。不同算法之间很难取交集,所以本种方法仅能针对有限算法的有限场景,且协作成本高,不易推广。
4、通过拆分联邦学习子任务形成统一的底层密码协议,从而实现跨平台跨架构的互联互通。通过拆分子任务增加了任务量级,同时该种方法寻求统一协议的效率较低,很多任务即使拆分很细也无法有效形成统一的底层密码协议。
技术实现思路
1、为解决相关技术问题,本技术实施例提供一种基于联邦学习算法的互联互通方法、装置、架构、设备及存储介质。
2、本技术实施例的技术方案是这样实现的:
3、本技术实施例提供了一种基于联邦学习算法的互联互通方法,应用于包括至少两个节点的跨平台架构;每个所述节点设置有算法组件;所述方法包括:
4、获取第一节点待联邦学习的任务信息;所述第一节点为所述至少两个节点中的任一节点;
5、基于所述任务信息调用所述算法组件对第二节点进行目标算法加载,得到所述目标算法的配置信息;所述第二节点为所述至少两个节点中除所述第一节点以外的任一节点;
6、在所述第二节点中确定与所述任务信息匹配的资源信息;
7、利用所述配置信息和所述资源信息对所述第一节点和所述第二节点进行互连互通的自适应适配。
8、上述方案中,在所述获取第一节点待联邦学习的任务信息之前,所述方法还包括:
9、存储每个所述节点对应的属性信息;所述属性信息包括所述节点的身份标识(identity,id)、名称信息、所属机构标识、系统版本信息、对外服务地址信息、认证方式信息、凭证数据信息;所述属性信息用于确定所述第二节点。
10、上述方案中,在所述基于所述任务信息调用所述算法组件对第二节点进行目标算法加载之前,所述方法还包括:
11、基于所述任务信息调用所述算法组件对所述节点进行认证,得到认证成功的所述第二节点。
12、上述方案中,所述基于所述任务信息调用所述算法组件对所述节点进行认证,得到认证成功的所述第二节点,包括:
13、基于所述任务信息调用所述算法组件对所述节点的身份进行认证,得到第一认证结果;
14、在所述第一认证结果表征所述节点的身份认证成功的情况下,对所述节点的第一数据进行格式化处理,得到第二数据;
15、对所述第二数据进行审计处理,得到第三数据;
16、对所述第三数据进行安全认证,得到认证成功的所述第二节点。
17、上述方案中,所述目标算法包括以下至少之一:
18、联邦学习算法;
19、交互式算子算法;
20、非交互式算子算法。
21、上述方案中,所述配置信息包括以下至少之一:
22、算法信息;
23、数据输入输出信息;
24、算法编排信息;
25、任务调度信息。
26、上述方案中,所述资源信息包括以下至少之一:
27、数据资源;
28、算力资源;
29、存储资源;
30、网络资源。
31、上述方案中,所述利用所述配置信息和所述资源信息对所述第一节点和所述第二节点进行互连互通的自适应适配,包括:
32、利用所述配置信息和所述资源信息确定所述第一节点和所述第二节点的适配协议;
33、基于所述适配协议对所述第一节点和所述第二节点进行互连互通。
34、上述方案中,所述适配协议包括以下至少之一:
35、所述第一节点和所述第二节点的数据输入和/输出的规范协议;
36、所述第一节点和所述第二节点的算法编排规范协议;
37、所述第一节点和所述第二节点的任务调度规范协议。
38、本技术实施例还提供了一种基于联邦学习算法的互联互通装置,应用于包括至少两个节点的跨平台架构;每个所述节点设置有算法组件;包括:
39、获取单元,用于获取第一节点待联邦学习的任务信息;所述第一节点为所述至少两个节点中的任一节点;
40、加载单元,用于基于所述任务信息调用所述算法组件对第二节点进行目标算法加载,得到所述目标算法的配置信息;所述第二节点为所述至少两个节点中除所述第一节点以外的任一节点;
41、确定单元,用于在所述第二节点中确定与所述任务信息匹配的资源信息;
42、适配单元,用于利用所述配置信息和所述资源信息对所述第一节点和所述第二节点进行互连互通的自适应适配。
43、本技术实施例还提供了一种基于联邦学习算法的互联互通架构,包括至少两个节点、控制层和资源层,每个所述节点设置有算法组件;所述算法组件分别与所述控制层和所述资源层连接;其中,
44、所述控制层,用于获取第一节点待联邦学习的任务信息;所述第一节点为所述至少两个节点中的任一节点;
45、所述算法组件,用于基于所述任务信息对第二节点进行目标算法加载,得到所述目标算法的配置信息;所述第二节点为所述至少两个节点中除所述第一节点以外的任一节点;
46、所述资源层,用于在所述第二节点中确定与所述任务信息匹配的资源信息;
47、所述算法组件,还用于利用所述配置信息和所述资源信息对所述第一节点和所述第二节点进行互连互通的自适应适配。
48、本技术实施例还提供了一种电子设备,包括:
49、存储器,用于存储可执行指令;
50、处理器,用于执行所述存储器中存储的可执行指令时,实现上述所述方法的任一步骤。
51、本技术实施例还提供一种计算机可读存储介质,存储有可执行指令,用于被处理器执行时,实现上述所述方法的任一步骤。
52、本技术实施例提供的基于联邦学习算法的互联互通方法、装置、架构、设备及存储介质,其中,方法应用于包括至少两个节点的跨平台架构;每个所述节点设置有算法组件;包括:获取第一节点待联邦学习的任务信息;所述第一节点为所述至少两个节点中的任一节点;基于所述任务信息调用所述算法组件对第二节点进行目标算法加载,得到所述目标算法的配置信息;所述第二节点为所述至少两个节点中除所述第一节点以外的任一节点;在所述第二节点中确定与所述任务信息匹配的资源信息;利用所述配置信息和所述资源信息对所述第一节点和所述第二节点进行互连互通的自适应适配,本技术实施例的方案,通过基于第一节点待联邦学习的任务信息调用算法组件对第二节点进行目标算法加载,得到目标算法的配置信息;在第二节点中确定与任务信息匹配的资源信息;利用配置信息和资源信息对第一节点和第二节点进行互连互通的自适应适配,即从算法组件层面实现节点间的互联互通,摆脱了引擎及管理服务系统配置过重的弊端;从互连互通的自适应适配实现了包括算法信息,数据输入输出格式,算法编排及任务调度的适配。
1.一种基于联邦学习算法的互联互通方法,其特征在于,应用于包括至少两个节点的跨平台架构;每个所述节点设置有算法组件;所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在所述获取第一节点待联邦学习的任务信息之前,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,在所述基于所述任务信息调用所述算法组件对第二节点进行目标算法加载之前,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述任务信息调用所述算法组件对所述节点进行认证,得到认证成功的所述第二节点,包括:
5.根据权利要求1所述的方法,其特征在于,所述目标算法包括以下至少之一:
6.根据权利要求1所述的方法,其特征在于,所述配置信息包括以下至少之一:
7.根据权利要求1所述的方法,其特征在于,所述资源信息包括以下至少之一:
8.根据权利要求1所述的方法,其特征在于,所述利用所述配置信息和所述资源信息对所述第一节点和所述第二节点进行互连互通的自适应适配,包括:
9.根据权利要求1所述的方法,其特征在于,所述适配协议包括以下至少之一:
10.一种基于联邦学习算法的互联互通装置,其特征在于,应用于包括至少两个节点的跨平台架构;每个所述节点设置有算法组件;包括:
11.一种基于联邦学习算法的互联互通架构,其特征在于,包括至少两个节点、控制层和资源层,每个所述节点设置有算法组件;所述算法组件分别与所述控制层和所述资源层连接;其中,
12.一种基于联邦学习算法的互联互通设备,其特征在于,包括:
13.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至9任一项所述的基于联邦学习算法的互联互通方法。