一种用于跨云备份的数据验证方法与流程

    技术2025-01-05  48


    本发明涉及跨云备份,尤其是涉及一种用于跨云备份的数据验证方法。


    背景技术:

    1、跨云备份是指将数据从一个云服务提供商(云平台)备份到另一个云服务提供商的过程。这种做法的主要目的是减少对单一云服务提供商的依赖,提高数据的冗余性和可靠性,以及为了灾难恢复和业务连续性。跨云备份还可以帮助用户避免厂商锁定,并可能出于成本考虑,利用不同云服务提供商的优势。

    2、跨云备份无论是采用网络传输还是直接拷贝的形式,大量数据传输过程中可能会面临数据损坏、数据丢失或同步错误等问题,因此验证数据完整性是至关重要的。

    3、目前,国内外对于跨云备份数据验证的研究较少,亟需设计一种完善的,成体系的用于跨云备份的数据验证方法来对跨云备份数据包进行验证,保障跨云备份数据完整、稳定、可靠。


    技术实现思路

    1、为了解决跨云备份数据验证的技术问题,本发明提供一种用于跨云备份的数据验证方法。采用如下的技术方案:

    2、一种用于跨云备份的数据验证方法,包括以下步骤:

    3、步骤1,获取原始数据包关联参数,获取数据分割包关联参数,获取待验证备份数据总包;

    4、步骤2,对待验证备份数据总包进行完整性验证;

    5、将备份数据包关联参数与原始数据包关联参数进行完整性验证;

    6、步骤3,若步骤2通过完整性验证,则基于随机数算法随机选取数据分割包进行恢复测试;

    7、步骤4,若步骤3选取的数据分割包均通过恢复测试,再在选取步骤3选取数据分割包以外的数据分割包中,采用随机数算法随机选取设定数量的数据分割包进行乱码扫描测试。

    8、可选的,步骤1中,原始数据包关联参数包括唯一标识符、数据包大小、数据包校验和;数据分割包关联参数包括每个数据分割包的序列号、每个数据分割包大小、每个数据分割包发送时间戳。

    9、通过采用上述技术方案,由于跨云备份的数据一般都是海量数据,因此一般会将原始数据包分割为若干数据分割包来进行数据传输,因此在数据包分割和再组合的过程中会出现完整性的风险,因此采用关联参数进行完整先验证能有效地进行的对数据包进行完整性校验。

    10、关联参数主要指唯一标识符、数据包大小、数据包校验和等参数;

    11、每个数据包的唯一标识符,如序列号或事务id,用于追踪和匹配备份数据与原始数据,通过唯一标识符可以验证待验证备份数据总包与原始数据包同源;

    12、数据包大小的对比是最重要的完整性验证,若数据包大小出现偏差那意味着跨云备份的数据出现了较大的传输错误或丢包;

    13、数据包校验和(如md5、sha-1、sha-256等),用于验证数据在传输过程中是否发生变化;

    14、完成了完整性测试的待验证备份数据总包还需要对数据分割包进行恢复测试,由于跨云备份的数据是海量数据,对每个包均进行恢复测试的难度很大,这里采用随机数算法随机选取数据分割包进行恢复测试,这是抽检的检查形式,恢复测试能有效地验证跨云备份数据的可执行性,避免传输错误导致数据损坏。

    15、若步骤3选取的数据分割包均通过恢复测试,还需要对其余的数据分割包基于抽检的形式再进行乱码扫描,能更加全面地验证跨云备份的待验证备份数据总包的正确性。

    16、提供了一种更加系统全面稳定的跨云备份的数据验证方法,充分保障跨云备份数据完整、稳定、可靠。

    17、可选的,步骤2中,完整性验证包括以下子步骤:

    18、步骤21,总包完整性验证,解析待验证备份数据总包,得到待验证备份数据总包关联参数:唯一标识符、数据包大小、数据包校验和;分别与原始数据包关联参数进行对比验证,若对比成功则继续进行数据分割包完整性验证;

    19、步骤22,分割包完整性验证,解析待验证备份数据总包得到多个待验证分割包,分别得到多个待验证分割包关联参数:序列号、每个数据分割包大小、每个数据分割包发送时间戳;分别与数据分割包关联参数进行对比验证,若对比成功则继续进行步骤3的恢复测试。

    20、通过采用上述技术方案,分割包完整性验证采用与总包类似的方法进行,增加了每个数据分割包发送时间戳,时间戳是数据包创建或发送的时间戳,验证其正确性用于确保备份数据的时效性和顺序。

    21、可选的,步骤3包括以下子步骤:

    22、步骤31,将步骤22得到的多个待验证分割包按照发送时间戳顺序进行重新编号,编号基于十进制编码;

    23、步骤32,基于随机数算法生成设定数量的编码数,获取编码数对应的待验证分割包;

    24、步骤33,采用扫描工具依次扫描步骤32获取的待验证分割包,得到多个可执行数据包和多媒体数据包,采用步骤32的随机数算法设定数量的可执行数据包和多媒体数据包作为目标可执行数据包进行恢复测试;

    25、步骤34,设置封闭的恢复测试服务器,将得到步骤33得到的目标可执行数据包导入恢复测试服务器中进行模拟运行测试,若模拟运行测试均通过,则对应的待验证分割包通过恢复测试。

    26、可选的,步骤32中,设待验证分割包的数量为n,随机数算法生成编码数的设定数量为x,则且随机数算法加入分散性因子,分散性因子使所取编码数不连续。

    27、通过采用上述技术方案,按照发送时间戳顺序进行重新编号,再通过随机数算法生成设定数量的编码数,随机数算法加入分散性因子,分散性因子使所取编码数不连续;

    28、采用上述随机数算法生成的编号代码可以更加全面地取样,例如随机数选择了第11号待验证分割包,若分散性因子选取2,则第9、10、12和13号待验证分割包不会被选中,由于按照时间戳顺序编号的,那么随机数算法选取的待验证分割包会更加均匀。

    29、可选的,步骤34中模拟运行测试是:判断可执行数据包的可执行类型,若是可执行数据包则正确安装到测试服务器中,测试可执行数据包是否能够正常启动,若正常启动,则执行各种功能性的测试用例,若正常运行则判断可执行数据包通过恢复测试;

    30、若可执行数据包是多媒体数据包,则将多媒体数据包拷贝到测试服务器中,打开多媒体数据包,使用多媒体检测工具验证多媒体数据包是否完整可播放。

    31、通过采用上述技术方案,模拟运行测试分为两部分进行,一种是可执行数据包,一种是多媒体数据包,对于可执行数据包需要将其正确安装到测试服务器中直接进行运行的测试,测试还需要进行各种功能性的测试用例的运行测试,充分避免因传输错误导致的可执行数据包损坏;

    32、对于多媒体数据包则采用多媒体检测工具验证多媒体数据包是否完整可播放,例如recover damaged video,photorec等,这些工具可以检测损坏的多媒体文件。

    33、可选的,步骤4中,在测试服务器中安装数据包分析工具,将设定数量的数据分割包拷贝到测试服务器并输入到数据包分析工具的分析队列,数据包分析工具进行乱码检测。

    34、通过采用上述技术方案,例如可以采用编码检测工具enca、uchardet等自动检测文件的编码,如果工具检测到的编码与文件声明的编码不一致,这可能是一个乱码的迹象。

    35、可选的,测试服务器的存储器设置测试单元,所有的待测试文件均拷贝到测试单元中进行,测试完成后,采用工具将测试单元格式化处理。

    36、通过采用上述技术方案,采用封闭独立的测试单元进行数据校验,避免数据泄密风险。

    37、一种存储介质,存储采用一种用于跨云备份的数据验证方法设计的数据验证程序。

    38、通过采用上述技术方案,上述存储介质与测试服务器通信可以实现自动化的跨云备份的数据验证。

    39、一种计算机,存储采用一种用于跨云备份的数据验证方法设计的数据验证程序,运行数据验证程序输出数据验证结果。

    40、通过采用上述技术方案,上述计算机与测试服务器通信可以实现自动化的跨云备份的数据验证。

    41、综上所述,本发明包括以下至少一种有益技术效果:

    42、本发明能提供一种用于跨云备份的数据验证方法,采用关联参数进行完整性验证能有效地进行的对数据包进行完整性校验。每个数据包的唯一标识符用于追踪和匹配备份数据与原始数据,通过唯一标识符可以验证待验证备份数据总包与原始数据包同源;数据包大小的对比是最重要的完整性验证,若数据包大小出现偏差那意味着跨云备份的数据出现了较大的传输错误或丢包;数据包校验和用于验证数据在传输过程中是否发生变化;完成了完整性测试的待验证备份数据总包还需要对数据分割包进行恢复测试,由于跨云备份的数据是海量数据,对每个包均进行恢复测试的难度很大,这里采用随机数算法随机选取数据分割包进行恢复测试,模拟运行测试分为两部分进行,一种是可执行数据包,一种是多媒体数据包,对于可执行数据包需要将其正确安装到测试服务器中直接进行运行的测试,测试还需要进行各种功能性的测试用例的运行测试,充分避免因传输错误导致的可执行数据包损坏。


    技术特征:

    1.一种用于跨云备份的数据验证方法,其特征在于,包括以下步骤:

    2.根据权利要求1所述的一种用于跨云备份的数据验证方法,其特征在于:步骤1中,原始数据包关联参数包括唯一标识符、数据包大小、数据包校验和;数据分割包关联参数包括每个数据分割包的序列号、每个数据分割包大小、每个数据分割包发送时间戳。

    3.根据权利要求2所述的一种用于跨云备份的数据验证方法,其特征在于:步骤2中,完整性验证包括以下子步骤:

    4.根据权利要求3所述的一种用于跨云备份的数据验证方法,其特征在于:步骤3包括以下子步骤:

    5.根据权利要求4所述的一种用于跨云备份的数据验证方法,其特征在于:步骤32中,设待验证分割包的数量为n,随机数算法生成编码数的设定数量为x,则且随机数算法加入分散性因子,分散性因子使所取编码数不连续。

    6.根据权利要求5所述的一种用于跨云备份的数据验证方法,其特征在于:步骤34中模拟运行测试是:判断可执行数据包的可执行类型,若是可执行数据包则正确安装到测试服务器中,测试可执行数据包是否能够正常启动,若正常启动,则执行各种功能性的测试用例,若正常运行则判断可执行数据包通过恢复测试;

    7.根据权利要求6所述的一种用于跨云备份的数据验证方法,其特征在于:步骤4中,在测试服务器中安装数据包分析工具,将设定数量的数据分割包拷贝到测试服务器并输入到数据包分析工具的分析队列,数据包分析工具进行乱码检测。

    8.根据权利要求7所述的一种用于跨云备份的数据验证方法,其特征在于:测试服务器的存储器设置测试单元,所有的待测试文件均拷贝到测试单元中进行,测试完成后,采用工具将测试单元格式化处理。

    9.一种存储介质,其特征在于:存储采用权利要求1-8任一项所述的一种用于跨云备份的数据验证方法设计的数据验证程序。

    10.一种计算机,其特征在于:存储采用权利要求1-8任一项所述的一种用于跨云备份的数据验证方法设计的数据验证程序,运行数据验证程序输出数据验证结果。


    技术总结
    本发明公开一种用于跨云备份的数据验证方法,涉及跨云备份技术领域,包括:完整性验证、恢复测试和乱码扫描测试。本发明采用关联参数进行完整性验证能有效地进行的对数据包进行完整性校验;完成了完整性测试的待验证备份数据总包还需要对数据分割包进行恢复测试,由于跨云备份的数据是海量数据,对每个包均进行恢复测试的难度很大,这里采用随机数算法随机选取数据分割包进行恢复测试,模拟运行测试分为两部分进行,一种是可执行数据包,一种是多媒体数据包,对于可执行数据包需要将其正确安装到测试服务器中直接进行运行的测试,测试还需要进行各种功能性的测试用例的运行测试,充分避免因传输错误导致的可执行数据包损坏。

    技术研发人员:吴岱远
    受保护的技术使用者:奇墨科技(广州)有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-24626.html

    最新回复(0)