本申请涉及数据处理,尤其涉及一种数据预存储方法、装置、设备及介质。
背景技术:
1、在实际应用中,内容分发网络通常基于客户的数据预热指示,将客户对应的源站所提供的数据预存储至内容分发网络的边缘设备节点,从而实现对源站所提供数据的预热处理。然而,上述预测处理方法,无法灵活满足内容分发网络高效快捷的数据共享需求。
技术实现思路
1、基于以上问题,本申请实施例提供了一种数据预存储方法、装置、设备及介质。
2、本申请实施例提供的技术方案是这样的:
3、本申请实施例首先提供了一种数据预存储方法,所述方法应用于内容分发网络;所述方法包括:
4、若接收到第一设备发送的第一数据,且所述第一数据在所述内容分发网络中未存储,获取第二设备通过所述内容分发网络请求所述第一数据的第一日志数据;
5、基于所述第一日志数据,预测在至少一个未来时段内针对所述第一数据的第一访问状态;
6、基于所述第一访问状态,确定针对所述第一数据的存储策略;
7、基于所述存储策略,预存储所述第一数据至所述内容分发网络中的节点设备。
8、在一些实施例中,所述基于所述第一日志数据,预测在至少一个未来时段内针对所述第一数据的第一访问状态,包括:
9、对所述第一日志数据进行特征提取,得到第一特征;
10、通过预测模型对所述第一特征进行预测处理,得到所述第一访问状态。
11、在一些实施例中,所述预测模型包括梯度提升模块;所述通过预测模型对所述第一特征进行预测处理,得到所述第一访问状态,包括:
12、获取第二特征;其中,所述第二特征包括访问频率大于或等于频率阈值的第二数据所具备的至少部分特征;
13、确定所述第一特征中的至少部分特征与所述第二特征中的至少部分对应特征之间的第一匹配程度;
14、通过所述梯度提升模块对所述第一匹配程度以及所述第一特征进行预测处理,得到所述第一访问状态。
15、在一些实施例中,所述预测模型还包括匹配模块;所述确定所述第一特征中的至少部分特征与所述第二特征中的至少部分对应特征之间的第一匹配程度,包括:
16、从所述第一特征中获取第一地址特征;
17、从所述第二特征中获取第二地址特征;
18、通过所述匹配模块确定所述第一地址特征与所述第二地址特征之间的第一匹配程度。
19、在一些实施例中,所述方法还包括:
20、获取第一指定时段内针对所述第一数据的第二访问状态;
21、确定所述第一访问状态与所述第二访问状态之间的第二匹配程度;
22、基于所述第二匹配程度调整所述预测模型中至少部分模块的参数,以优化所述预测模型。
23、在一些实施例中,所述基于所述第二匹配程度调整所述预测模型中至少部分模块的参数,以优化所述预测模型,包括:
24、若所述第二匹配程度小于匹配度阈值,获取第二指定时段内针对所述第一数据的第三访问状态;
25、基于所述第三访问状态,调整所述预测模型中至少部分模块的参数,以优化所述预测模型。
26、在一些实施例中,所述获取第一指定时段内针对所述第一数据的第二访问状态,包括:
27、获取所述第一指定时段内与所述第一数据关联的第二日志数据;
28、基于所述第二日志数据确定所述第二访问状态。
29、在一些实施例中,所述基于所述第一访问状态,确定针对所述第一数据的存储策略,包括:
30、若所述第一访问状态表示在所述至少一个未来时段内针对所述第一数据的访问频率大于或等于频率阈值,确定所述存储策略为:存储所述第一数据至所述内容分发网络的至少部分节点设备。
31、在一些实施例中,所述基于所述第一访问状态,确定针对所述第一数据的存储策略,包括:
32、若所述第一访问状态表示在所述至少一个未来时段内针对所述第一数据的访问频率大于或等于频率阈值,确定所述存储策略为:确定所述内容分发网络中与所述第一数据对应的业务所关联的目标设备,存储所述第一数据至所述目标设备。
33、本申请实施例还提供了一种数据预存储装置,所述数据预存储装置设置于内容分发网络;所述装置包括:
34、获取模块,用于若接收到第一设备发送的第一数据,且所述第一数据在所述内容分发网络中未存储,获取第二设备通过所述内容分发网络请求所述第一数据的第一日志数据;
35、处理模块,用于基于所述第一日志数据,预测在至少一个未来时段内针对所述第一数据的第一访问状态;
36、确定模块,用于基于所述第一访问状态,确定针对所述第一数据的存储策略;
37、预存储模块,用于基于所述存储策略,预存储所述第一数据至所述内容分发网络中的节点设备。
38、本申请实施例还提供了一种数据预存储设备,所述数据预存储设备设置于内容分发网络;所述数据预存储设备包括包括处理器和存储器;其中,所述存储器中存储有计算机程序;所述计算机程序被所述处理器执行时,能够实现如前任一所述的数据预存储方法。
39、本申请实施例还提供了一种计算机可读存储介质,所述存储介质中存储有计算机程序;所述计算机程序被电子设备的处理器执行时,能够实现如前任一所述的数据预存储方法。
40、本申请实施例提供的数据预存储方法,内容分发网络接收到第一设备发送的第一数据且第一数据在内容分发网络中未存储时,获取第二设备通过内容分发网络请求第一数据的第一日志数据,如此,通过上述操作,实现了对获取第一日志数据这一操作的严格控制,从而能够降低获取任意数据关联的日志数据而产生的运算量;并且,由于第一日志数据能够精确反应从内容分发网络接收到第二设备发送的请求获取第一数据的请求至内容分发网络接收到第一数据的完整过程,因此,通过基于第一日志数据,预测在至少一个未来时段内针对第一数据的第一访问状态,能够提高第一访问状态与第一数据的实际获取条件和/或过程之间的关联性,从而使得第一访问状态能够精准的反应在至少一个未来时段内针对第一数据的实际访问状态;在此基础上,基于第一访问状态确定针对第一数据的存储策略,并基于存储策略预存储第一数据至内容分发网络中的节点设备,使得内容分发网络对第一数据的预存储操作能够满足在至少一个未来时段内通过内容分发网络对第一数据的访问需求;与此同时,通过基于存储策略预存储第一数据至内容分发网络中的节点设备,实现了内容分发网络对第一数据的主动预存储处理,从而提供了一种实时的灵活的、自动化的且主动化的内容分发网络数据预热处理,从而能够提高内容分发网络的数据共享和访问的效率。
1.一种数据预存储方法,其特征在于,所述方法应用于内容分发网络;所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一日志数据,预测在至少一个未来时段内针对所述第一数据的第一访问状态,包括:
3.根据权利要求2所述的方法,其特征在于,所述预测模型包括梯度提升模块;所述通过预测模型对所述第一特征进行预测处理,得到所述第一访问状态,包括:
4.根据权利要求3所述的方法,其特征在于,所述预测模型还包括匹配模块;所述确定所述第一特征中的至少部分特征与所述第二特征中的至少部分对应特征之间的第一匹配程度,包括:
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述第二匹配程度调整所述预测模型中至少部分模块的参数,以优化所述预测模型,包括:
7.根据权利要求5所述的方法,其特征在于,所述获取第一指定时段内针对所述第一数据的第二访问状态,包括:
8.根据权利要求1所述的方法,其特征在于,所述基于所述第一访问状态,确定针对所述第一数据的存储策略,包括:
9.根据权利要求1所述的方法,其特征在于,所述基于所述第一访问状态,确定针对所述第一数据的存储策略,包括:
10.一种数据预存储装置,其特征在于,所述数据预存储装置设置于内容分发网络;所述装置包括:
11.一种数据预存储设备,其特征在于,所述数据预存储设备设置于内容分发网络;所述数据预存储设备包括包括处理器和存储器;其中,所述存储器中存储有计算机程序;所述计算机程序被所述处理器执行时,能够实现如权利要求1至9任一所述的数据预存储方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序;所述计算机程序被电子设备的处理器执行时,能够实现如权利要求1至9任一所述的数据预存储方法。
