本发明涉及智慧粮食,具体而言,涉及一种基于蓄水池模型空间的异常检测方法,用于智慧粮食系统中的数据监控与异常检测。
背景技术:
1、智慧粮食系统通过传感器网络和数据采集设备,实时监测粮食生产的环境参数,如温度、湿度、土壤湿度、光照强度等。然而,这些系统在数据传输和处理过程中,可能会出现数据异常,如传感器故障、通信中断等。智慧粮库还指运用现代化的物联网、大数据等技术手段,对粮食仓储、运输、质量保障等环节进行实时监控和数据分析,以提高粮食产业的效率和质量。实时数据分析与决策支持是智慧粮库的重要功能,可以为管理者提供精确的信息和决策依据。
2、智慧粮库实时数据分析能提高粮库管理效率:通过实时监控和数据分析,可以及时发现粮库中出现的问题,并采取相应的措施,提高管理水平。
3、传统异常检测方法主要依赖于简单的阈值判断或统计分析,难以准确识别复杂的异常模式,无法满足现代智慧农业的高精度要求。此外,现有基于深度学习的方法在时效性方面存在较大问题,通常需要大量计算资源和时间,无法满足实时监测和快速响应的需求。因此,迫切需要一种高效、精准且实时的异常检测方法。基于深度学习的异常检测一般的流程是通过深度学习模型抽取数据中的特征,从而根据数据特征的异常进行检测。而我们从基于蓄水池的模型空间的角度,将不同预测模型的参数作为我们的模型空间,从而根据模型的异常来进行检测,如图1所示。相较于从特征角度进行检测,模型空间具有较强的抗干扰和抗噪声能力,能较大提高检测模型的稳定性和精准度,具有较好的泛化能力,同时由于蓄水池的参数无需训练,可以大大减少模型的训练和推理时间。
技术实现思路
1、本发明的目的是,提供一种基于蓄水池模型(reservoir)空间的智慧粮食系统异常检测方法,通过对环境数据的高效处理和分析,实现对异常情况的准确检测和早期预警,提高粮食生产的安全性和效率。
2、为了实现上述目的,本发明提供的一种基于蓄水池模型空间的智慧粮食系统异常检测方法,包括以下步骤:
3、步骤1,数据采集:从部署在粮食生产田间的多个传感器采集环境数据,包括温度、湿度、土壤湿度、光照强度与时间等,这些数据形成多维的时间序列数据。
4、步骤2,数据预处理:对多维时间序列数据进行预处理,包括数据清洗、缺失值填补、数据归一化等。即对湿度、土壤湿度、光照强度等数据的处理;
5、步骤3,神经网络的构建基于蓄水池(reservoir)的模型空间,如图2所示,蓄水池(reservoir)的模型空间包括输入层、蓄水池层、dropout层和预测层;
6、3.1输入层:接收基于滑动窗口的时间序列特征数据;
7、3.2蓄水池层:包含大量随机连接的神经元,如图2所示,这些连接不会在训练过程中进行调整,而是在网络初始化时随机设置并固定下来。通过蓄水池能够映射输入数据的复杂时间模式,捕捉到输入历史的影响,从而有效地保留过去信息的影响。
8、3.3预测层:该层有两层全连接层(fc层)和一个dropout层组成,通过预测下一个时间点数据的方式,构建预测模型,其中,dropout层考虑到粮食生产系统数据的复杂性,单一的蓄水池层并不能有效刻画数据的特征,为此,基于dropout层产生正负样本,通过对比学习的方式更好地学习数据的特征。
9、步骤4,模型空间的训练:使用历史正常数据对蓄水池模型进行训练,调整输出层的参数,使模型空间能够准确描述正常状态下的系统行为。至此,将预测层的参数当做我们的模型空间,模型空间构建完毕。
10、步骤5,异常检测方法的构建和训练:基于模型空间,构建并训练autoencoder模型,使其能够重构步骤4产生的模型空间,即重构预测层的参数。
11、步骤6,通过重构的模型空间误差和设定的阈值判断输出结果是否为异常。
12、步骤7,预警与处理:当检测到异常时,系统触发预警机制,通知管理人员并自动启动相应的应对措施,如重新校准传感器、调整灌溉策略等。
13、"fc"通常指的是“全连接层”(fully connected layer),也被称为密集层(denselayer)。这是一种在深度学习模型中非常常见的层,尤其是在卷积神经网络(cnn)和多层感知器(mlp)的结构中。神经元连接**:在全连接层中,每个神经元都与前一层的所有神经元相连。这意味着输入层的每个特征都会影响全连接层的每个神经元。
14、神经元连接:在全连接层中,每个神经元都与前一层的所有神经元相连。这意味着输入层的每个特征都会影响全连接层的每个神经元。全连接层的每个神经元都会对前一层的输出进行加权求和,然后再加上一个偏置值。通常这个过程还会包括一个激活函数,如relu或sigmoid。
15、全连接层主要用于综合或总结前面层(如卷积层或池化层)提取的特征。在分类问题中,最后的全连接层常用于输出预测结果,其中每个神经元对应一个类别的概率。
16、在神经网络的训练过程中,dropout层通过随机地将一部分神经元设置为不工作(即输出为0),从而阻止了某些特征只在特定神经元组合下才有效的情况,使得网络在训练时学习到更加鲁棒的特征。这种随机失活的过程不仅减少了模型对特定样本的依赖,还增加了模型的泛化能力,使得模型在未见数据上的表现更好。
17、dropout的工作原理是在模型训练阶段的前向传播过程中,让某些神经元的激活值以一定的概率停止工作。这个概率通常是一个超参数,可以根据不同的网络和应用领域进行调整。在训练过程中,由于每次迭代中都有一部分神经元被随机“关闭”,因此实际上是在训练多个子网络,这些子网络共享相同的权重,但每个子网络都有不同的神经元被激活。这种机制类似于集成学习,通过多个子网络的平均预测来减少过拟合。
18、值得注意的是,dropout只在训练阶段使用,而在预测或测试阶段不使用。这是因为dropout的目的是为了防止过拟合,而模型在测试时应该使用所有可用的信息来做出预测。
19、此外,dropout的参数(即保留概率)可以根据不同的层进行调整。例如,如果某个层比其他层更容易过拟合,可以将其保留概率设置得较低。尽管dropout主要在计算机视觉领域被广泛使用,因为它有助于缓解该领域因数据不足而容易过拟合的问题,但它也可以应用于其他领域。
20、有益效果:本发明实施例得到的测试结果,图中展示了在6个维度的数据的异常检测结果,即大气温度、大气湿度、大气压力、土壤温度、土壤湿度以及风速,本发明能提高异常检测的准确性和灵敏度,能够识别复杂的异常模式。实现实时监控和早期预警,及时发现并处理异常情况,保障粮食生产的稳定性和安全性。
1.一种基于蓄水池模型空间的智慧粮食系统异常检测方法,其特征是,包括以下步骤:
2.根据权利要求1所述的基于蓄水池模型空间的智慧粮食系统异常检测方法,其特征是,预警与处理:当检测到异常时,系统触发预警机制,通知管理人员并自动启动相应的应对措施,如重新校准传感器、调整灌溉策略。
3.根据权利要求1所述的基于蓄水池模型空间的智慧粮食系统异常检测方法,其特征是,基于蓄水池(reservoir)的模型空间构建:
