数据同步方法、装置、设备、存储介质及产品与流程

    技术2024-12-03  19


    本申请属于数据处理,尤其涉及一种数据同步方法、装置、设备、存储介质及产品。


    背景技术:

    1、现有技术中可以通过两个redis(remote dictionary server,远程字典服务)缓存服务器进行数据同步,其中一个redis服务器中记录备份服务器中的文件信息,另一个redis服务器记录文件服务器中的文件信息,通过redis比对程序,查看文件差异,并通知文件同步程序这个文件差异,文件同步程序则同步这些差异文件。通过这样的实现方式,使得每次同步可以进行增量同步,防止了冗余同步浪费带宽和资源。但是现有技术是单节点模式,对于大批量的文件同步,同步效率较低。


    技术实现思路

    1、本申请实施例提供一种数据同步方法、装置、设备、存储介质及产品,以解决对于大批量的文件同步,同步效率较低的问题。

    2、第一方面,本申请实施例提供一种数据同步方法,应用于第一同步服务器,所述第一同步服务器为数据同步系统中的多个同步服务器中的任意同步服务器,所述数据同步系统还包括同步控制服务器和缓存服务器,所述方法包括:

    3、接收所述同步控制服务器发送的第一待同步文件列表,所述第一待同步文件列表包括多个文件信息;

    4、在所述多个文件信息中选取第一文件信息;

    5、向所述缓存服务器发送携带有第一文件信息的第一请求,所述第一请求用于获取与所述第一文件信息对应的第一文件的同步状态;

    6、在接收到基于第一请求反馈的所述第一文件的同步状态为未被所述多个同步服务器中除第一同步服务器之外的其他同步服务器进行同步的情况下,向文件服务器同步所述第一文件;

    7、在所述第一文件同步成功的情况下,返回执行所述在所述多个文件信息中选取第一文件信息的步骤,直至所述多个文件信息对应的文件均被同步至所述文件服务器中。

    8、第二方面,本申请实施例提供一种数据同步方法,应用于缓存服务器,所述缓存服务器存在于数据同步系统中,且所述数据同步系统还包括同步控制服务器和多个同步服务器,所述方法包括:

    9、接收第一同步服务器发送的携带有第一文件信息的第一请求;

    10、基于第二待同步文件,确定与所述第一文件信息对应的第一文件的同步状态,所述第一同步服务器为所述多个同步服务器中的任意一个同步服务器;

    11、向所述第一同步服务器发送所述第一文件的同步状态。

    12、第三方面,本申请实施例提供了一种数据处理装置,所述装置包括:

    13、第一接收模块,用于接收所述同步控制服务器发送的第一待同步文件列表,所述第一待同步文件列表包括多个文件信息;

    14、选取模块,用于在所述多个文件信息中选取第一文件信息;

    15、第一发送模块,用于向所述缓存服务器发送携带有第一文件信息的第一请求,所述第一请求用于获取与所述第一文件信息对应的第一文件的同步状态;

    16、第二发送模块,用于在接收到基于第一请求反馈的所述第一文件的同步状态为未被所述多个同步服务器中除第一同步服务器之外的其他同步服务器进行同步的情况下,向文件服务器同步所述第一文件;

    17、执行模块,用于在所述第一文件同步成功的情况下,返回执行所述在所述多个文件信息中选取第一文件信息的步骤,直至所述多个文件信息对应的文件均被同步至所述文件服务器中。

    18、第四方面,本申请实施例提供一种数据处理装置,所述装置包括:

    19、第二接收模块,用于接收第一同步服务器发送的携带有第一文件信息的第一请求;

    20、第一确定模块,用于基于第二待同步文件,确定与所述第一文件信息对应的第一文件的同步状态,所述第一同步服务器为所述多个同步服务器中的任意一个同步服务器;

    21、第三发送模块,用于向所述第一同步服务器发送所述第一文件的同步状态。

    22、第五方面,本申请实施例提供了一种终端设备,设备包括:处理器以及存储有计算机程序指令的存储器;

    23、处理器执行计算机程序指令时实现如第一方面的数据同步方法,或者实现如第二方面的数据同步方法。

    24、第六方面,本申请实施例提供了一种计算机存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面的数据同步方法,或者实现如第二方面的数据同步方法。

    25、第七方面,本申请实施例提供了一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行如第一方面的数据同步方法,或者实现如第二方面的数据同步方法。

    26、本申请实施例提供的数据同步方法,该数据同步方法应用于数据同步系统中的多个同步服务器中的任意第一同步服务器,在第一同步服务器接收到同步控制服务器发送的第一待同步文件列表时,以此将第一待同步文件列表中的文件信息对应的待同步文件同步至文件服务器中,能够使得每个同步服务器可以独立工作,处理不同的文件同步任务,实现了文件的多节点同步。同时通过先检查第一文件的同步状态,避免了对已经被其他同步服务器同步过的文件进行重复同步,从而提高了系统对大批量文件的并行处理能力和同步效率。



    技术特征:

    1.一种数据同步方法,其特征在于,应用于第一同步服务器,所述第一同步服务器为数据同步系统中的多个同步服务器中的任意同步服务器,所述数据同步系统还包括同步控制服务器和缓存服务器,所述方法包括:

    2.如权利要求1所述的数据同步方法,其特征在于,所述向所述缓存服务器发送携带有第一文件信息的第一请求之后,所述方法还包括:

    3.如权利要求1所述的数据同步方法,其特征在于,所述方法还包括:

    4.如权利要求1所述的数据同步方法,其特征在于,所述在所述第一文件同步成功的情况下,返回执行所述在所述多个文件信息中选取第一文件信息的步骤,包括:

    5.如权利要求1所述的数据同步方法,其特征在于,所述向文件服务器同步所述第一文件之后,所述方法还包括:

    6.如权利要求5所述的数据同步方法,其特征在于,所述向所述缓存服务器发送包含所述断点信息的同步失败指令之后,所述方法还包括:

    7.如权利要求1所述的数据同步方法,其特征在于,在接收到基于所述第一请求反馈的分布式锁的情况下,将所述第一文件的同步状态确定为未被所述多个同步服务器中除第一同步服务器之外的其他同步服务器进行同步。

    8.一种数据同步方法,其特征在于,应用于缓存服务器,所述缓存服务器存在于数据同步系统中,且所述数据同步系统还包括同步控制服务器和多个同步服务器,所述方法包括:

    9.如权利要求8所述的数据同步方法,其特征在于,所述方法还包括:

    10.如权利要求8所述的数据同步方法,其特征在于,所述方法还包括:

    11.如权利要求10所述的数据同步方法,其特征在于,所述向所述同步控制服务器发送所述失败处理列表之后,所述方法还包括:

    12.一种数据同步装置,其特征在于,所述装置包括:

    13.一种数据同步装置,其特征在于,所述装置包括:

    14.一种终端设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;

    15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-11任意一项所述的数据同步方法。

    16.一种计算机程序产品,其特征在于,计算机产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1-11任意一项所述的数据同步方法。


    技术总结
    本申请公开了一种数据同步方法、装置、设备、存储介质及产品。其中,方法包括:接收同步控制服务器发送的第一待同步文件列表,第一待同步文件列表包括多个文件信息;在多个文件信息中选取第一文件信息;向缓存服务器发送携带有第一文件信息的第一请求;在接收到基于第一请求反馈的第一文件的同步状态为未被多个同步服务器中除第一同步服务器之外的其他同步服务器进行同步的情况下,向文件服务器同步第一文件;在第一文件同步成功的情况下,返回执行在多个文件信息中选取第一文件信息的步骤,直至多个文件信息对应的文件均被同步至文件服务器中。本申请实施例提高了对大批量文件的同步效率。

    技术研发人员:江佳佳
    受保护的技术使用者:中移物联网有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-22997.html

    最新回复(0)