本发明涉及大数据分析,具体而言,涉及企业数据的数据闭环优化处理方法及装置。
背景技术:
1、数据闭环能够使得数据处理系统在数据分析和处理上更加高效且可以持续的基于数据的处理流程进行进一步的数据处理优化,以实现最高效的处理处理方式。通过对数据闭环进行每个环节上的监控来实时跟踪数据的变化,进而为实时改善闭环数据处理的方式以适应当下的数据处理提供了重要的分析基础。
2、数据闭环越来越多的应用在企业数据处理上。但是,大多数的企业数据闭环还不能够高效的实现适应性的调整优化,由于数据类型的多样性大多数时候仅仅是人工进行基于局部或者经验性的适当调整,并不能完整高效的对数据闭环的全过程进行合理的优化调整。
3、因此,设计一种企业数据的数据闭环优化处理方法,通过建立目标企业数据闭环的数据处理信息数据库来提取合理的处理信息进而针对性的进行数据处理过程中的优化分析判断,以实现整体上实时合理的进行数据处理的优化,以保证数据处理的高效性和合理性,是目前亟待解决的问题。
技术实现思路
1、本发明的目的在于提供企业数据的数据闭环优化处理方法,通过采集目标企业数据在数据闭环运行过程中的被处理运行信息来建立起合理且完整的闭环数据处理过程中的重要处理特征信息,并通过对这些数据处理特征信息进行合理的分析判断确定出适合当下数据类型和数据处理流程的数据闭环优化方式,一方面可以整体上对闭环数据处理过程进行宏观性的把握,避免局部的监控分析导致对整个处理过程造成的负面影响,另一方面也能够高效且合理的实现对闭环数据处理过程的优化调整,使得数据处理过程更加高效合理,且具有高度的时效性。
2、第一方面,本发明提供企业数据的数据闭环优化处理方法,包括采集不同类型企业数据的处理运行信息数据,建立企业数据的处理运行信息数据库;从处理运行信息数据库中提取企业数据处理信息,并对数据处理信息进行基于数据处理转换特征的统计分析,形成数据处理转换引导信息;从处理运行信息数据库中提取企业数据处理信息,并对数据处理信息进行基于数据处理结果特征的统计分析,形成数据处理结果引导信息;根据数据处理转换引导信息和数据处理结果引导信息,进行闭环优化分析,形成闭环优化引导数据。
3、在本发明中,该方法通过采集目标企业数据在数据闭环运行过程中的被处理运行信息来建立起合理且完整的闭环数据处理过程中的重要处理特征信息,并通过对这些数据处理特征信息进行合理的分析判断确定出适合当下数据类型和数据处理流程的数据闭环优化方式,一方面可以整体上对闭环数据处理过程进行宏观性的把握,避免局部的监控分析导致对整个处理过程造成的负面影响,另一方面也能够高效且合理的实现对闭环数据处理过程的优化调整,使得数据处理过程更加高效合理,且具有高度的时效性。
4、作为一种可能的实现方式,采集不同类型企业数据的处理运行信息数据,建立企业数据的处理运行信息数据库,包括:采集所有类型企业数据在整个处理运行过程中的数据信息量变化数据,形成类型数据处理运行信息量变化数据;采集所有类型企业数据在整个处理运行过程中的信息提取时长变化数据,形成类型数据处理运行提取时长变化数据;集合所有类型企业数据对应的类型数据处理运行信息量变化数据和类型数据处理运行提取时长变化数据,建立处理运行信息数据库。
5、在本发明中,针对企业闭环数据的处理运行过程的数据库是对企业闭环数据处理过程进行优化分析的基础分析判断信息库,通过建立数据库可以不断的获取实时的数据处理过程信息,并进行合理的分类处理,进而为后续提取数据库的数据来针对性的进行数据处理过程的优化分析提供合理且有效的参考数据。
6、作为一种可能的实现方式,从处理运行信息数据库中提取企业数据处理信息,并对数据处理信息进行基于数据处理转换特征的统计分析,形成数据处理转换引导信息,包括:从处理运行信息数据库中提取每个类型企业数据在处理运行过程中的数据信息量大小变化信息,形成企业数据信息量变化信息;从处理运行信息数据库中提取每个类型企业数据在处理运行过程中的数据信息提取时长变化信息,形成企业数据信息提取时长变化信息;结合企业数据信息量变化信息和企业数据信息提取时长变化信息,形成数据处理转换引导信息。
7、在本发明中,数据闭环的优化分析是以数据处理优化为目标,那么在进行优化分析时就需要考虑从数据闭环中提取的数据是与数据价值变现紧密相关的信息。这里,分别提取了企业数据在数据闭环过程中所产生的数据量的大小以及处理所消耗的时长作为优化分析基础参数。对于数据量的大小,其直接决定了被有效提取分析的体量大小以及数据闭环作业能够形成的有效数据体量,当然,这种体量也来自于数据闭环中所确定的数据特征提取方式,即数据提取的算法等,因此,提取的数据量的大小也反映了数据特征提取的效果和能力。对于处理消耗时长,一方面确定了对应类型的变现数据在被有效提取时所消耗的成本信息,不限于资源消耗、工时消耗等,另一方面也反映出数据特征提取方式的处理能力和处理效果。需要说明的时,由于数据闭环过程中的数据处理具有时效性,因而在提取数据量大小和处理消耗时长时,应该将这些参数放在时间维度上进行考量,这样形成的分析结果数据才具有较强的时效性,进而引导数据闭环进行实时且合理的优化调整处理,保证数据闭环管理的实时性和合理性。
8、作为一种可能的实现方式,从处理运行信息数据库中提取每个类型企业数据在处理运行过程中的数据信息量大小变化信息,形成企业数据信息量变化信息,包括:确定闭环优化分析周期,提取处理运行信息数据库中每个类型的企业数据每次进行运行处理形成的数据信息量大小,并形成在闭环优化分析周期内的企业数据处理信息量变化曲线=,其中,n表示不同类型的企业数据的编号;根据企业数据处理信息量变化曲线=,确定对应的企业数据处理信息量变化率,其中,为在时间维度上的导数。
9、在本发明中,对数据量大小的分析考虑数据闭环中所有数据都是实时进行的,甚至是连续不间断的进行分析处理,所以在对数据量大小进行时间维度的分析时就需要考虑对数据量大小的单位值进行确认,本技术中,考虑虽然变现数据大多是连续不间断的处理并生成,而进行原始数据的提取分析时是具有次项和采集限制的,因而可以以提取次项的每次为单位,也可以以单次允许的最大采集限制为单位进行,这里,以每次提取形成的数据量为单位来进行数据量大小的分析。当然,考虑优化分析需要对数据量大小的变化特征进行分析,因而分析时应该确定数据量的变化率,以为后续的优化处理分析提供重要的数据基础。
10、作为一种可能的实现方式,从处理运行信息数据库中提取每个类型企业数据在处理运行过程中的数据信息提取时长变化信息,形成企业数据信息提取时长变化信息,包括:提取处理运行信息数据库中每个类型的企业数据每次进行运行处理形成的数据信息提取时长,并形成在闭环优化分析周期内的企业数据处理信息提取时长变化曲线=;根据企业数据处理信息提取时长变化曲线=,确定对应的企业数据处理信息提取时长变化率,其中,为在时间维度上的导数。
11、在本发明中,同样,对于数据处理时长来说,也可以根据次项提取所消耗的最大时长为计量单位,也可以以单位允许采集的数据所消耗的最大时长为计量单位进行参数在时间维度上的分析,这里为了保证后续数据分析的可对比性,也是以单次提取的数据所消耗的最大时长为计量单位来进行分析。在取得处理时长在时间维度上的变化数据后,提取出处理时长的变化率数据为后续的分析提供重要的数据基础。
12、作为一种可能的实现方式,从处理运行信息数据库中提取企业数据处理信息,并对数据处理信息进行基于数据处理结果特征的统计分析,形成数据处理结果引导信息,包括:从处理运行信息数据库中提取每个类型企业数据在处理运行过程中形成的数据信息量中被提取的信息量大小信息,并形成企业数据提取量变化曲线=;根据企业数据提取量变化曲线,确定对应的企业数据在优化分析周期内的企业数据提取量变化率,其中,为在时间维度上的导数。
13、在本发明中,对于数据闭环所形成的企业数据,其价值变现的直接提现在于能够被提取利用。因而获取到变现应用的信息在本技术中是以变现数据被提取的数据量为表示的参数。同样,企业数据的被提取量因为需求和价值变现的具体情况而具有时效性,所以将被提取数据量在时间维度上进行表达使得形成的数据也具有时效性,进而在进行优化分析时使得分析结果数据具有时效性,保证数据闭环优化分析的时效性和合理性。当然,被提取量的变化率也是优化分析需要重点关注的参数数据。
14、作为一种可能的实现方式,根据数据处理转换引导信息和数据处理结果引导信息,进行闭环优化分析,形成闭环优化引导数据,包括:根据企业数据处理信息量变化率和企业数据提取量变化率,进行以下优化分析处理:若和均呈逐渐上升趋势,则结合企业数据处理信息量变化率、企业数据提取量变化率以及企业数据处理信息提取时长变化率,进行信息量持续增加的优化处理分析,形成信息量持续增加同趋势优化处理分析结果信息;若呈非逐渐上升趋势,呈现逐渐上升趋势,则结合企业数据处理信息提取时长变化率,进行信息量增加的优化处理分析,形成信息量持续增加异步趋势优化处理分析结果信息;若呈现非逐渐上升趋势,则结合企业数据提取量变化曲线、企业数据处理信息提取时长变化率以及企业数据提取量变化率,进行非持续增加优化处理分析结果信息。
15、在本发明中,在获取到进行优化分析的实时有效参数数据后,要实现对数据闭环作业的合理准确的优化调整,就需要对这些参数数据进行合理的分析,形成供优化调整分析参考的重要且准确的引导数据。这里,对于形成的数据量大小、处理的时长、提取的数据量大小三种参数数据,提取的数据量大小和形成的数据量大小直接决定了数据闭环所提供的数据被充分利用的具体情况,即有多少形成的数据是完成了价值变现的有效转化的。因此,在进行优化分析时,优先对这两个参数的变化情况进行分析判断,并在判断结果的基础上针对不同的情况获取其他的参数数据进行分析处理,进而取得优化分析所需的引导数据。当然,根据参数数据的分析会形成针对不同类型的企业数据的分析结果情况,这些情况各不相同,因而针对形成的形成不同的优化处理引导信息,为数据闭环的优化分析提供了重要的数据基础,以有效保证数据闭环的实时性和合理性。这里需要说明的是,对于逐渐上升趋势的判断方式多样,可以是在优化分析周期内对整个增长量的跨度是否达到预期进行判断,也可以是对优化分析周期内增长率大于零的情况是否占据预期的比例时长来进行判断,也可以是对在优化分析周期内增长率小于零的时长是否存在小于预期的比例时长来进行判断等,在进行分析时结合不同类型的变现数据进行合理的判断准则选取,以保证趋势分析的正确性和合理性。
16、作为一种可能的实现方式,若和均呈逐渐上升趋势,则结合企业数据处理信息量变化率、企业数据提取量变化率以及企业数据处理信息提取时长变化率,进行信息量持续增加的优化处理分析,形成信息量持续增加同趋势优化处理分析结果信息,包括:设定对应企业数据的处理时长变化率稳定阈值范围=[,],表示处理时长变化率稳定阈值范围的最小值,表示处理时长变化率稳定阈值范围的最大值,并进行以下优化分析:当<,>,则确定在闭环优化分析周期内企业数据的信息量被提取后的剩余信息量在时间维度上的变化曲线,并标定为占存信息量空留曲线;当<,∈,则确定在闭环优化分析周期内企业数据的信息量被提取后的剩余信息量在时间维度上的变化曲线,标定为占存信息量待扩曲线;当<,<,则确定在闭环优化分析周期内企业数据的信息量被提取后的剩余信息量在时间维度上的变化曲线,标定为占存信息量待扩曲线;当≥,则确定在闭环优化分析周期内企业数据的信息量被提取后的剩余信息量在时间维度上的变化曲线,标定为占存信息量节约曲线。
17、在本发明中,对于生成的数据量和被提取的数量均是呈现上升趋势的情况下,首先认为对应类型的企业数据的需求较大价值变现能力较强。结合变化率分析,如果被提取的数据量变化率不超过形成的数据量的变化率,则在处理时长为强势的增长情况下,可以考虑该类型的企业数据需要较长的时间才能形成,虽然形成的数据量在逐渐增加,但由于形成的频率较低,因而随着提取量的增加,剩余未被提取的数据量也会逐渐减小,因而考虑这一类型的企业数据形成且被提取后剩余的数据量存储空间会减小,因此输出剩余数据量的变化曲线,为该类型的企业数据的存储空间优化提供引导数据。对于数据量变化率不超过形成的数据量变化率,且处理时长趋于平稳或者是有所降低的趋势下,形成的数据量虽然被提取的量逐渐增加,但是考虑形成频率不变或者频率增加,会导致剩余的数据量会增加,进而会占用更多的存储空间,所以形成剩余量的变化曲线为该类型的剩余数据量的存储进行扩容优化提供引导参考。而对于被提取数据量变化率大于等于形成数据量的变化率,则认为越往后形成的数据量将被提取的更多,因此剩余的数据量会逐渐减小,因此形成剩余数据量大小的变化曲线,为该类型的企业数据的存储空间进行合理的减小优化提供引导参考数据。
18、作为一种可能的实现方式,若呈非逐渐上升趋势,呈现逐渐上升趋势,则结合企业数据处理信息提取时长变化率,进行信息量增加的优化处理分析,形成信息量持续增加异步趋势优化处理分析结果信息:设定不同企业数据对应的信息量处理时长阈值,并进行以下优化分析:当≤,则标定对应的企业数据为稳定对象数据;当>,则标定对应的企业数据为待优化对象数据,并确定信息量处理时长阈值为信息量处理限制时长。
19、在本发明中,对于被提取的不变化量呈上升趋势而形成的数据量呈非上升趋势的情况下,说明该类型的企业数据被有效提取的占比越来越大,而形成该类型的企业数据的处理时长就成为直接制约其完成数据闭环的重要因素。当然,任何类型的企业数据的处理时长会有理论上的合理限制值,实际处理时长与该理论限制值之间的差距往往决定于系统数据处理性能、数据处理的有限性等影响等因素,是可以进行优化调整的。因此,如果处理时长小于这个限值,认为是合理的可以满足数据提取的需求,而超出了这个限值,就需要以限值为优化目标进行基于优化目标的特征提取优化,所以将该类型的企业数据进行标定,并提供这个时间限值为优化调整进行参考引导。
20、作为一种可能的实现方式,若呈现非逐渐上升趋势,则结合企业数据提取量变化曲线、企业数据处理信息提取时长变化率以及企业数据提取量变化率,进行非持续增加优化处理分析结果信息,包括:设定不同类型的企业数据的数据信息量限制值,并进行以下优化分析:当呈逐渐上升趋势,且<,则将对应的企业数据标定为稳定对象数据;当呈逐渐上升趋势,且≥,则将对应的企业数据标定为待优化对象数据,并确定数据信息量限制值为信息提取量限制值;当呈非逐渐上升趋势时,设定不同类型的企业数据的信息量提取单元值,并进行以下优化分析:当>,>,则将对应的企业数据标定为待优化对象数据,并确定企业数据信息处理时长变化率极大值为信息处理时长目标值;当>,∈,则将对应的企业数据标定为待优化对象数据,并确定企业数据信息处理时长变化率极大值为信息处理时长目标值;当>,<,则将对应的企业数据标定为稳定对象数据;当≤,则将对应的变现数据标定为删除对象数据。
21、在本发明中,被提取的数据量呈现非上升的趋势,可以认为随着时间的变化以及需求的变化,该类型的数据量需求会逐渐降低,因而为了优化数据闭环的数据构成,为其他需求量大的类型的企业数据提供更加多的资源,需要进行一定程度的优化调整。如果形成的数据量还在逐渐上升,那么考虑为这一类型的变现数据设定合理的数据量形成限值,并根据这个限值进行优化与否的分析判断,对于需要进行优化的则以限值作为目标进行特征提取的优化引导参考。对于形成的数据量也在逐渐降低的情况,则考虑是否需要对该类型的变现数据进行合理的拆除或者调整。首先考虑提取的数据量,如果提取的数据量还大于设定的最小阈值,则认为该类型的企业数据还有一定的价值变现意义,在处理时长不小于设定的时长阈值的情况下以设定的时长阈值为目标进行优化调整的引导,在处理时长小于设定的时长阈值时,则不进行优化调整处理。而对于提取的数据量小于设定的最小阈值,则认为该类型的企业数据不存在合理的价值变现意义了,可以删除为其他企业数据提供资源以提高数据闭环的作用和效果。
22、本发明提供的企业数据的数据闭环优化处理方法及装置的有益效果有:
23、该方法通过采集目标企业数据在数据闭环运行过程中的被处理运行信息来建立起合理且完整的闭环数据处理过程中的重要处理特征信息,并通过对这些数据处理特征信息进行合理的分析判断确定出适合当下数据类型和数据处理流程的数据闭环优化方式,一方面可以整体上对闭环数据处理过程进行宏观性的把握,避免局部的监控分析导致对整个处理过程造成的负面影响,另一方面也能够高效且合理的实现对闭环数据处理过程的优化调整,使得数据处理过程更加高效合理,且具有高度的时效性。
1.一种风险预警方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据不同时刻的用户电表信息、设备电表信息、电网电表信息之间的差异,以及所述用户异常得分、用电峰值风险得分,计算关联用电风险得分,包括:
3.根据权利要求1-2中任一项所述的方法,其特征在于,所述获取多个时刻的电表信息,包括:
4.一种风险预警装置,其特征在于,所述装置包括:
5.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。