本申请涉及数据处理,尤其涉及一种数据采集方法、装置、设备和存储介质。
背景技术:
1、在诸多应用场景中,都需要在系统中执行数据采集任务,以便利用采集到的数据执行数据分析任务。目前,在目标设备中预先部署数据监控系统并且为该数据监控系统设置固定的采集频率;在目标设备中运行该数据监控系统,由该数据监控系统按照该固定的采集频率,在目标设备中执行全量数据采集。
2、在真实场景中,数据分析需要使用的数据类型会根据用户需求的改变而不断发生变化,这样,采集到的数据并不会被用户全部使用。例如:如果用户需要分析目标设备的收发时延,则会访问接口相关的数据,而其他数据不会被访问;如果用户需要分析目标设备的资源使用情况,则会访问内容占用率、cpu(central processing unit,中央处理器)使用率、带宽占用率这些与资源使用相关的数据,而其他数据不会被访问。但是,目前的数据采集策略是按照固定的采集频率进行全量数据采集,这就导致采集到的大量数据可能变为无效数据,基本不会被使用到,随着数据的不断采集,无效数据将会占用大量的资源,造成资源浪费。
技术实现思路
1、本申请提供了一种数据采集方法、装置、设备和存储介质,以解决按照固定的采集频率采集数据,容易产生无效数据的问题。
2、针对上述技术问题,本申请技术方案是通过如下实施例来解决的:
3、本申请实施例提供了一种数据采集方法,包括:在采集到目标数据之后,监听针对所述目标数据的访问事件;根据所述访问事件对应的访问时间,确定所述目标数据对应的访问频率;根据所述目标数据对应的访问频率,调整所述目标数据对应的采集频率,以便按照调整后的所述采集频率继续采集所述目标数据。
4、其中,所述根据所述访问事件对应的访问时间,确定所述目标数据对应的访问频率,包括:在每一次监听到针对所述目标数据的访问事件之后,记录所述访问事件对应的访问时间;将最近一次监听到的所述访问事件对应的访问时间,确定为所述目标数据对应的访问频率。
5、其中,所述根据所述目标数据对应的访问频率,调整所述目标数据对应的采集频率,包括:在预设的多个访问频率范围中,确定所述目标数据对应的访问频率所属的访问频率范围;其中,预先为每个所述访问频率范围对应设置一个采集频率;端值大的所述访问频率范围对应的采集频率大于端值小的所述访问频率范围对应的采集频率;将所述目标数据当前对应的采集频率,调整为所述访问频率所属访问频率范围对应的采集频率。
6、其中,所述根据所述访问事件对应的访问时间,确定所述目标数据对应的访问频率,包括:在每一次监听到针对所述目标数据的访问事件之后,记录所述访问事件对应的访问时间;根据记录的每一个所述访问事件对应的访问时间,确定当前时间窗口对应的访问量;根据在当前时间窗口对应的访问量以及当前时间窗口的时间长度,确实所述目标数据在当前时间窗口对应的访问频率。
7、其中,所述根据所述目标数据对应的访问频率,调整所述目标数据对应的采集频率,包括:在预设的多个访问频率范围中,根据所述目标数据在当前时间窗口对应的访问频率,确定所述目标数据在当前时间窗口对应的访问频率范围;查询所述目标数据在前一时间窗口对应的访问频率范围;如果所述目标数据在当前时间窗口对应的访问频率范围的端值大于所述目标数据在前一时间窗口对应的访问频率范围的端值,则按照预设的第一步进值,增加所述目标数据在当前时间窗口对应的采集频率,作为所述目标数据在下一时间窗口对应的采集频率;反之,则按照预设的第二步进值,减小所述目标数据在当前时间窗口对应的采集频率,作为所述目标数据在下一时间窗口对应的采集频率。
8、其中,所述调整所述目标数据对应的采集频率,包括:在尝试增大所述目标数据对应的采集频率时,如果所述目标数据当前对应的采集频率已经达到第一预设阈值,则维持当前的采集频率不变;在尝试减小所述目标数据对应的采集频率时,如果所述目标数据当前对应的采集频率已经达到第二预设阈值,则维持当前的采集频率不变;其中,所述第一预设阈值大于所述第二预设阈值。
9、其中,在所述调整所述目标数据对应的采集频率之后,还包括:如果调整后的所述采集频率小于第三预设阈值,则将所述目标数据对应的历史采集数据存储到远端设备,将所述目标数据对应的最新采集数据存储在本地设备。
10、本申请实施例提供了一种数据采集装置,包括:监听模块,用于在采集到目标数据之后,监听针对所述目标数据的访问事件;确定模块,用于根据所述访问事件对应的访问时间,确定所述目标数据对应的访问频率;采集模块,用于根据所述目标数据对应的访问频率,调整所述目标数据对应的采集频率,以便按照调整后的所述采集频率继续采集所述目标数据。
11、本申请实施例提供了一种数据采集设备,包括:至少一个通信接口;与所述至少一个通信接口相连接的至少一个总线;与所述至少一个总线相连接的至少一个处理器;与所述至少一个总线相连接的至少一个存储器,其中,所述处理器被配置为:执行所述存储器中存储的数据采集程序,以实现上述任一项所述的数据采集方法。
12、本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被执行,以实现上述任一项所述的数据采集方法。
13、本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例提供的方法可以在采集到目标数据之后,监听针对所述目标数据的访问事件;根据所述访问事件对应的访问时间,确定所述目标数据对应的访问频率;根据所述目标数据对应的访问频率,调整所述目标数据对应的采集频率,以便按照调整后的所述采集频率继续采集所述目标数据。在本申请实施例中,按照目标数据对应的采集频率采集该目标数据;在采集过程中,根据目标数据的访问情况,不断调整目标数据对应的采集频率,目标数据的访问频率高,调整到较高的采集频率,目标数据的访问频率低,调整到较低的采集频率,使得采集频率和访问频率相匹配,进而降低了采集的数据不被使用的发生概率,也避免了不被使用的数据占用系统资源的问题,不容易出现无效数据。
1.一种数据采集方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述访问事件对应的访问时间,确定所述目标数据对应的访问频率,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据对应的访问频率,调整所述目标数据对应的采集频率,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述访问事件对应的访问时间,确定所述目标数据对应的访问频率,包括:
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标数据对应的访问频率,调整所述目标数据对应的采集频率,包括:
6.根据权利要求1所述的方法,其特征在于,所述调整所述目标数据对应的采集频率,包括:
7.根据权利要求1所述的方法,其特征在于,在所述调整所述目标数据对应的采集频率之后,还包括:
8.一种数据采集装置,其特征在于,包括:
9.一种数据采集设备,其特征在于,包括:至少一个通信接口;与所述至少一个通信接口相连接的至少一个总线;与所述至少一个总线相连接的至少一个处理器;与所述至少一个总线相连接的至少一个存储器,其中,所述处理器被配置为:执行所述存储器中存储的数据采集程序,以实现权利要求1-7中任一项所述的数据采集方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被执行,以实现权利要求1-7中任一项所述的数据采集方法。
