本发明涉及通信,尤其涉及一种基于算力网络的数据处理方法、装置、设备和介质。
背景技术:
1、算力网络是面向算网融合的新型信息基础设施,是以算为核心,以网为基础,实现计算、存储和网络资源在云、边、端之间按需分配和灵活调度。
2、目前,一些特殊应用场景下的数据存在存储量庞大又有敏感性的特点,导致对数据的存储和调度等过程面临挑战,例如医院数据因为数据敏感性问题,一般都存储在医院本地的机房中,并没有实现异地存储,但又由于医院数据的存储量庞大,仅依靠本地存储,数据存储成本较大。
技术实现思路
1、本发明实施例的目的是提供一种基于算力网络的数据处理方法、装置、设备和介质,能够基于算力网络开展东数西存业务,既满足对数据的保密需求,又能降低数据存储成本,实现弹性存储扩容。
2、为实现上述目的,本发明实施例提供了一种基于算力网络的数据处理方法,包括:
3、获取对待处理数据的存储需求和当前的算力网络资源信息;
4、根据所述存储需求和所述算力网络资源信息,生成算网编排方案;其中,所述算网编排方案包括外部存储中心的位置和传输链路;
5、对所述待处理数据进行数据分离处理,得到敏感数据和脱敏数据;
6、将所述敏感数据存储至预设的本地存储中心,将所述脱敏数据通过所述传输链路进行传输并存储至所述外部存储中心。
7、作为上述方案的改进,在所述根据所述存储需求和所述算力网络资源信息,生成算网编排方案之后,所述方法还包括:
8、将所述算网编排方案下发至网络管理系统和云端管理系统,进行对所述传输链路的开通和所需的网络资源、算力资源的分配。
9、作为上述方案的改进,所述根据所述存储需求和所述算力网络资源信息,生成算网编排方案,包括:
10、根据所述存储需求和所述算力网络资源信息,确定所述外部存储中心的位置;
11、根据所述外部存储中心的位置和所述存储需求,设置所述待处理数据在网络节点中传输的路由表;
12、以所述待处理数据到达所述外部存储中心时满足所述存储需求为优化目标,建立数据路由规划模型;
13、根据所述算力网络资源信息,建立网络数据传输约束函数;
14、利用动态规划算法求解所述数据路由规划模型,得到传输所述待处理数据的最佳路由策略,以确定所述传输链路。
15、作为上述方案的改进,所述对所述待处理数据进行数据分离处理,得到敏感数据和脱敏数据,包括:
16、根据所述待处理数据所属用户的用户身份信息,分配与所述用户身份信息对应的密钥对;其中,所述密钥对包括公钥和私钥;
17、获取所述待处理数据中的敏感数据;
18、将所述待处理数据中的敏感数据采用公钥信息进行替换,将替换后的待处理数据生成所述脱敏数据;
19、将所述脱敏数据采用所述公钥进行加密处理,得到加密后的脱敏数据;
20、则,所述将所述敏感数据存储至预设的本地存储中心,将所述脱敏数据通过所述传输链路进行传输并存储至所述外部存储中心,具体为:
21、将所述敏感数据、所述敏感信息与所述公钥的对应关系存储至预设的本地存储中心;
22、将所述加密后的脱敏数据通过所述传输链路进行传输,并存储至所述外部存储中心。
23、作为上述方案的改进,在所述将所述敏感数据存储至预设的本地存储中心,将所述脱敏数据通过所述传输链路进行传输并存储至所述外部存储中心之后,所述方法还包括:
24、当接收到数据回调指令时,根据所述数据回调指令确定所需回调的用户的用户身份信息和私钥;
25、根据所述用户身份信息和所述私钥,向对应的外部存储中心解密得到所述用户的脱敏数据;
26、将所述用户的脱敏数据中的公钥信息替换为所述用户的敏感数据,得到所述用户的数据。
27、作为上述方案的改进,在所述对所述待处理数据进行数据分离处理,得到敏感数据和脱敏数据之后,所述方法还包括:
28、将所述脱敏数据输入至预先训练完成的数据标签识别模型中进行分析,得到对所述脱敏数据的数据标签;其中,所述数据标签为冷数据标签、温数据标签或热数据标签;
29、则所述外部存储中心包括东部存储中心和西部存储中心,所述传输链路包括传输至所述东部存储中心的第一传输链路和传输至所述西部存储中心的第二传输链路;
30、所述将所述脱敏数据通过所述传输链路进行传输并存储至所述外部存储中心,包括:
31、当所述脱敏数据的数据标签为热数据标签时,将所述脱敏数据通过所述第一传输链路传输至所述东部存储中心进行存储;
32、当所述脱敏数据的数据标签为冷数据标签或温数据标签时,将所述脱敏数据通过所述第二传输链路传输至所述西部存储中心进行存储。
33、作为上述方案的改进,所述获取对待处理数据的存储需求,包括:
34、接收用户输入的对所述待处理数据的存储需求的语言描述内容;
35、将所述语音描述内容输入至预先训练完成的需求识别模型中进行分析,得到对所述待处理数据的结构化的存储需求。
36、本发明实施例还提供了一种基于算力网络的数据处理装置,包括:
37、数据获取模块,用于获取对待处理数据的存储需求和当前的算力网络资源信息;
38、编排方案生成模块,用于根据所述存储需求和所述算力网络资源信息,生成算网编排方案;其中,所述算网编排方案包括外部存储中心的位置和传输链路;
39、数据分离模块,用于对所述待处理数据进行数据分离处理,得到敏感数据和脱敏数据;
40、数据存储模块,用于将所述敏感数据存储至预设的本地存储中心,将所述脱敏数据通过所述传输链路进行传输并存储至所述外部存储中心。
41、本发明实施例还提供了一种基于算力网络的数据处理设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任意一项所述的基于算力网络的数据处理方法。
42、本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的基于算力网络的数据处理方法。
43、与现有技术相比,本发明公开的基于算力网络的数据处理方法、装置、设备和介质,通过数据分离算法对待处理数据做筛选处理,分离为身份敏感数据和脱敏数据,保证敏感数据存储在本地存储中心,脱敏数据进行东数西存业务的调度,存储在外部存储中心,实现弹性存储扩容。并且,通过识别用户的存储需求和当前的算力网络资源信息生成最优的算网编排方案,确定符合用户需求的外部存储中心的位置和传输链路,有效增强数据安全性,并降低存储成本和能耗。
1.一种基于算力网络的数据处理方法,其特征在于,包括:
2.如权利要求1所述的基于算力网络的数据处理方法,其特征在于,在所述根据所述存储需求和所述算力网络资源信息,生成算网编排方案之后,所述方法还包括:
3.如权利要求1所述的基于算力网络的数据处理方法,其特征在于,所述根据所述存储需求和所述算力网络资源信息,生成算网编排方案,包括:
4.如权利要求1所述的基于算力网络的数据处理方法,其特征在于,所述对所述待处理数据进行数据分离处理,得到敏感数据和脱敏数据,包括:
5.如权利要求4所述的基于算力网络的数据处理方法,其特征在于,在所述将所述敏感数据存储至预设的本地存储中心,将所述脱敏数据通过所述传输链路进行传输并存储至所述外部存储中心之后,所述方法还包括:
6.如权利要求1所述的基于算力网络的数据处理方法,其特征在于,在所述对所述待处理数据进行数据分离处理,得到敏感数据和脱敏数据之后,所述方法还包括:
7.如权利要求1所述的基于算力网络的数据处理方法,其特征在于,所述获取对待处理数据的存储需求,包括:
8.一种基于算力网络的数据处理装置,其特征在于,包括:
9.一种基于算力网络的数据处理设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于算力网络的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的基于算力网络的数据处理方法。