采集数据任务处理方法及装置与流程

    技术2024-11-02  52


    本发明涉及数据处理,尤其是涉及一种采集数据任务处理方法及装置。


    背景技术:

    1、目前,从网络平台抓取数据时,通常是按照每个用户的数据采集申请分别进行数据采集,当不同用户发送相同的采集对象和时间的数据采集申请时,会导致的采集资源的浪费。


    技术实现思路

    1、有鉴于此,本发明的目的在于提供一种采集数据任务处理方法及装置,以减少了采集资源的浪费。

    2、为了实现上述目的,本发明实施例采用的技术方案如下:

    3、第一方面,本发明实施例提供了一种采集数据任务处理方法,包括:接收多个平台发送的第一数据采集申请,并获取每个第一数据采集申请对应的第一数据采集时间;其中,多个平台的第一数据采集申请是针对同一采集对象;获取第一数据采集时间的并集,得到目标数据采集时间;获取目标数据采集时间内的采集数据,并从采集数据中获取每个平台的第一数据采集时间对应的数据反馈至对应的平台。

    4、在一种实施方式中,接收多个平台发送的数据采集申请之后,该方法还包括:基于多个平台的数据采集申请中的账户信息或关键字,判断多个平台的采集对象是否相同。

    5、在一种实施方式中,获取第一数据采集时间的并集,得到目标数据采集时间,包括:判断多个平台的第一数据采集时间是否有重合;如果有重合,则将多个平台的第一数据采集时间的并集确定为目标数据采集时间;如果没有重合,则分别将多个第一数据采集时间确定为目标数据采集时间。

    6、在一种实施方式中,获取目标数据采集时间内的采集数据之后,该方法还包括:将采集到的同一账户的目标数据采集时间内的采集数据储存到同一数据表格中,并对数据表格的采集数据添加标签;其中,标签包括:时间标签、账户标签或者关键字标签。

    7、在一种实施方式中,该方法还包括:接收平台的第二数据采集申请,并基于第二数据申请的账户信息或关键字确定对应的目标数据表格;基于第二数据采集申请的第二数据采集时间和目标数据表格的时间标签,判断目标数据表格中是否有第二数据采集申请对应的采集数据;如果有,则从目标数据表格中提取第二数据采集申请对应的采集数据反馈至平台。

    8、第二方面,本发明实施例提供了一种采集数据任务处理装置,包括:接收模块,用于接收多个平台发送的第一数据采集申请,并获取每个第一数据采集申请对应的第一数据采集时间;其中,多个平台的第一数据采集申请是针对同一采集对象;数据采集时间确定模块,用于获取第一数据采集时间的并集,得到目标数据采集时间;第一数据采集模块,用于获取目标数据采集时间内的采集数据,并从采集数据中获取每个平台的第一数据采集时间对应的数据反馈至对应的平台。

    9、在一种实施方式中,该装置还包括:判断模块,用于基于多个平台的数据采集申请中的账户信息或关键字,判断多个平台的采集对象是否相同。

    10、在一种实施方式中,数据采集时间确定模块,具体用于:判断多个平台的第一数据采集时间是否有重合;如果有重合,则将多个平台的第一数据采集时间的并集确定为目标数据采集时间;如果没有重合,则分别将多个第一数据采集时间确定为目标数据采集时间。

    11、第三方面,本发明实施例提供了一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。

    12、第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。

    13、本发明实施例带来了以下有益效果:

    14、本发明实施例提供的上述采集数据任务处理方法及装置,首先接收多个平台发送的第一数据采集申请,并获取每个第一数据采集申请对应的第一数据采集时间;其中,多个平台的第一数据采集申请是针对同一采集对象;然后获取第一数据采集时间的并集,得到目标数据采集时间;最后获取目标数据采集时间内的采集数据,并从采集数据中获取每个平台的第一数据采集时间对应的数据反馈至对应的平台。上述方法能够根据多个平台的第一数据采集时间的并集进行数据采集,即一次性采集多个平台的第一数据采集时间对应的最大时间范围内的采集数据,然后将每个平台的第一数据采集时间对应的数据反馈至对应的平台,从而减少了采集资源的浪费。

    15、本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

    16、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。



    技术特征:

    1.一种采集数据任务处理方法,其特征在于,包括:

    2.根据权利要求1所述的方法,其特征在于,接收多个平台发送的数据采集申请之后,还包括:

    3.根据权利要求1所述的方法,其特征在于,获取所述第一数据采集时间的并集,得到目标数据采集时间,包括:

    4.根据权利要求1所述的方法,其特征在于,获取所述目标数据采集时间内的采集数据之后,还包括:

    5.根据权利要求4所述的方法,其特征在于,还包括:

    6.一种采集数据任务处理装置,其特征在于,包括:

    7.根据权利要求6所述的装置,其特征在于,所述装置还包括:判断模块,用于基于多个所述平台的数据采集申请中的账户信息或关键字,判断多个所述平台的采集对象是否相同。

    8.根据权利要求6所述的装置,其特征在于,所述数据采集时间确定模块,具体用于:

    9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至5任一项所述的方法的步骤。

    10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至5任一项所述的方法的步骤。


    技术总结
    本发明提供了一种采集数据任务处理方法及装置,包括:接收多个平台发送的第一数据采集申请,并获取每个第一数据采集申请对应的第一数据采集时间;其中,多个平台的第一数据采集申请是针对同一采集对象;获取第一数据采集时间的并集,得到目标数据采集时间;获取目标数据采集时间内的采集数据,并从采集数据中获取每个平台的第一数据采集时间对应的数据反馈至对应的平台。本发明减少了采集资源的浪费。

    技术研发人员:张赛男,侯玉柱,赵志庆,汪开雨,王巍,靳学庚
    受保护的技术使用者:戎行技术有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-21492.html

    最新回复(0)