本发明涉及油样检测技术，尤其涉及基于多模态信息的油色谱油样动态检测方法及系统。
背景技术：
1、油色谱分析是变压器油检测的重要手段之一,通过对油样的色谱图进行分析,可以了解油的老化程度和污染状况,进而评估变压器的运行健康水平。传统的油色谱分析主要依赖人工观察和判读,存在效率低、主观性强等不足。近年来,随着人工智能技术的发展,利用计算机视觉和机器学习等方法实现油色谱分析的自动化成为了研究热点。
2、已有的油色谱分析自动化方法主要基于色谱图像的特征提取和分类识别。然而,已有方法主要局限于色谱图像的静态分析,忽略了油样老化过程的动态演变特性。油品在服役过程中,其理化性质和色谱特征会随时间发生变化,呈现一定的动态演变规律。充分挖掘和利用油样色谱特征的动态变化信息,对于全面评估油品状态和预测其发展趋势具有重要意义。
技术实现思路
1、本发明实施例提供基于多模态信息的油色谱油样动态检测方法及系统，能够解决现有技术中的问题。
2、本发明实施例的第一方面，
3、提供基于多模态信息的油色谱油样动态检测方法，包括：
4、采集油样的多模态信号，所述多模态信号包括色谱信号、光谱信号和电学参数信号,所述色谱信号由气相色谱仪采集获得,所述光谱信号由光纤光谱仪采集获得,所述电学参数信号包括油样的介电常数、电导率和闪点;对所述多模态信号进行自适应预处理,通过小波变换的方式去除所述色谱信号和所述光谱信号中的高频噪声,提取油样的色谱特征峰和光谱吸收峰,并对电学参数信号进行归一化处理，分别得到色谱特征、光谱特征和电学参数特征;
5、构建多模态油样特征融合网络,将所述色谱特征、所述光谱特征和所述电学参数特征输入到多模态油样特征融合网络中,通过注意力机制自适应调整所述色谱特征、所述光谱特征和所述电学参数特征对应的权重,利用门控循环单元网络学习所述色谱特征、所述光谱特征和所述电学参数特征之间的时序关联性,进行特征融合得到融合特征;
6、将所述融合特征输入到油样动态检测模型中,所述油样动态检测模型采用双向长短时记忆网络刻画油样状态的双向时间依赖关系;在双向长短时记忆网络之上构建条件随机场层,建模所述融合特征对应的油样状态的马尔可夫转移特性,利用动态规划算法解码获得油样的最优状态序列，基于所述油样的最优状态序列生成油样状态报告和油样故障诊断报告,所述油样状态报告包括油样色谱指纹图谱、油样光谱吸收曲线、油样综合健康指数；所述油样故障诊断报告包括油样劣化原因分析、油样劣化等级评估和油样维护措施建议。
7、在一种可选的实施方式中，
8、对所述多模态信号进行自适应预处理,通过小波变换的方式去除所述色谱信号和所述光谱信号中的高频噪声,提取油样的色谱特征峰和光谱吸收峰,并对电学参数信号进行归一化处理，分别得到色谱特征、光谱特征和电学参数特征包括：
9、对所述色谱信号和所述光谱信号分别进行小波分解,选择小波基函数和分解层数,将所述色谱信号和所述光谱信号分解为低频近似系数和高频细节系数;对每一层高频细节系数进行自适应阈值处理,将小于阈值的高频细节系数置零,去除所述色谱信号和所述光谱信号中的高频噪声,所述阈值由高频细节系数的标准差和信号长度自适应确定;对阈值处理后的小波系数进行重构,得到去噪后的色谱信号和光谱信号;
10、对去噪后的色谱信号和光谱信号分别进行小波变换,得到小波系数矩阵,在所述小波系数矩阵的尺度空间上,利用尺度连续性原则和模极大值原则,自适应搜索油样的色谱特征峰和光谱吸收峰的位置和范围;根据色谱特征峰和光谱吸收峰的位置和范围,从去噪后的色谱信号和光谱信号中提取出特征峰信号片段,并对提取出的特征峰信号片段进行归一化处理,得到色谱特征和光谱特征;
11、对油样的电学参数信号进行最大最小值归一化处理,将所述电学参数信号映射到[0,1]区间内,得到归一化后的电学参数特征,所述电学参数信号包括油样的介电常数、电导率和闪点。
12、在一种可选的实施方式中，
13、构建多模态油样特征融合网络,将所述色谱特征、所述光谱特征和所述电学参数特征输入到多模态油样特征融合网络中,通过注意力机制自适应调整所述色谱特征、所述光谱特征和所述电学参数特征对应的权重,利用门控循环单元网络学习所述色谱特征、所述光谱特征和所述电学参数特征之间的时序关联性,进行特征融合得到融合特征包括：
14、所述多模态油样特征融合网络包括色谱特征提取子网络, 光谱特征提取子网络以及电学参数特征提取子网络,其中，
15、色谱特征提取子网络,用于对油样样本的色谱数据进行特征提取,通过一维卷积层提取色谱数据的局部特征,并利用自校准卷积模块自适应调整色谱特征的通道重要性,通过全局平均池化层得到色谱特征;
16、光谱特征提取子网络,用于对油样样本的光谱数据进行特征提取,通过一维卷积层提取光谱数据的局部特征,并利用所述自校准卷积模块自适应调整光谱特征的通道重要性,通过全局平均池化层得到光谱特征;
17、电学参数特征提取子网络,用于对油样样本的电学参数信号进行特征提取,通过全连接层将电学参数信号映射到高维空间,并利用门控线性单元引入非线性变换,得到电学参数特征;
18、引入跨模态交互注意力机制,用于挖掘色谱特征、光谱特征和电学参数特征之间的互补信息,分别对色谱特征、光谱特征和电学参数特征进行线性变换得到查询向量、键向量和值向量,通过注意力机制计算色谱特征、光谱特征和电学参数特征之间的交互权重,并利用交互权重对值向量进行加权求和,得到融合特征。
19、在一种可选的实施方式中，
20、所述方法还包括：
21、在通过跨模态交互注意力机制得到融合特征的基础上,通过门控循环单元学习所述融合特征对应的油样状态在时间维度上的依赖关系,得到油样样本在不同时刻的隐藏状态,并将最后一个时刻的隐藏状态输入到softmax分类器中,得到油样状态的预测概率分布;
22、其中,所述自校准卷积模块用于对卷积得到的特征进行全局平均池化,得到各个特征通道的全局描述符;通过两个全连接层和一个sigmoid激活函数,生成自校准权重;利用自校准权重对卷积得到的特征进行重标定,得到自校准后的特征。
23、在一种可选的实施方式中，
24、将所述融合特征输入到油样动态检测模型中,所述油样动态检测模型采用双向长短时记忆网络刻画油样状态的双向时间依赖关系;在双向长短时记忆网络之上构建条件随机场层,建模所述融合特征对应的油样状态的马尔可夫转移特性, 利用动态规划算法解码获得油样的最优状态序列包括：
25、将所述融合特征输入到双向长短时记忆网络中,所述双向长短时记忆网络由两个并行的长短时记忆网络组成,分别沿时间正向和反向传播,捕捉融合特征的双向时间依赖关系,并将正向长短时记忆网络的隐藏状态和反向长短时记忆网络的隐藏状态拼接,得到所述双向长短时记忆网络层的输出特征序列;
26、在所述双向长短时记忆网络之上构建条件随机场层,所述条件随机场层建模所述融合特征对应的油样状态之间的马尔可夫转移特性,其中,所述条件随机场层的势函数刻画了相邻位置的油样状态标签之间的转移得分以及油样状态标签与所述双向长短时记忆网络的输出特征序列之间的发射得分;
27、利用动态规划算法对所述条件随机场层进行解码,获得油样状态的最优状态序列,所述动态规划算法递归地计算每个位置处的最优油样状态,并通过反向回溯得到整个最优状态序列。
28、在一种可选的实施方式中，
29、所述方法还包括训练油样动态检测模型：
30、在源领域已标注数据上训练油样动态检测模型,得到初始源模型参数;利用预训练的特征提取器在目标领域油样数据上提取特征,得到目标领域特征集合;在目标领域特征集合上进行无监督的领域自适应,通过引入领域判别器与特征提取器进行端到端的对抗训练,使提取的特征能够欺骗判别器,达到源领域和目标领域特征分布一致的领域混淆效果;
31、利用目标领域的少量标注数据对油样动态检测模型的条件随机场层进行微调,使其适应目标领域的状态转移特性;将自适应后的特征提取器和微调后的条件随机场层组合,构成目标领域的油样动态检测模型,其中特征提取器用于提取油样数据的高层特征表示,条件随机场层用于对特征序列进行状态解码,解码时考虑状态间的转移概率和状态到观测值的发射概率,通过动态规划寻找最优状态序列。
32、在一种可选的实施方式中，
33、所述方法还包括：
34、引入领域判别器与特征提取器进行端到端的对抗训练，对抗训练的目标损失函数为源领域样本在判别器的概率对数与目标领域样本在判别器概率的补对数之和,通过最小化目标损失函数实现领域混淆和特征分布自适应;
35、条件随机场层的损失函数为目标领域标注样本的状态序列对数概率的负值,通过最大化状态序列对数概率实现条件随机场层的参数的自适应调整。
36、本发明实施例的第二方面，
37、提供基于多模态信息的油色谱油样动态检测系统，包括：
38、第一单元，用于采集油样的多模态信号，所述多模态信号包括色谱信号、光谱信号和电学参数信号,所述色谱信号由气相色谱仪采集获得,所述光谱信号由光纤光谱仪采集获得,所述电学参数信号包括油样的介电常数、电导率和闪点;对所述多模态信号进行自适应预处理,通过小波变换的方式去除所述色谱信号和所述光谱信号中的高频噪声,提取油样的色谱特征峰和光谱吸收峰,并对电学参数信号进行归一化处理，分别得到色谱特征、光谱特征和电学参数特征;
39、第二单元，用于构建多模态油样特征融合网络,将所述色谱特征、所述光谱特征和所述电学参数特征输入到多模态油样特征融合网络中,通过注意力机制自适应调整所述色谱特征、所述光谱特征和所述电学参数特征对应的权重,利用门控循环单元网络学习所述色谱特征、所述光谱特征和所述电学参数特征之间的时序关联性,进行特征融合得到融合特征;
40、第三单元，用于将所述融合特征输入到油样动态检测模型中,所述油样动态检测模型采用双向长短时记忆网络刻画油样状态的双向时间依赖关系;在双向长短时记忆网络之上构建条件随机场层,建模所述融合特征对应的油样状态的马尔可夫转移特性,利用动态规划算法解码获得油样的最优状态序列，基于所述油样的最优状态序列生成油样状态报告和油样故障诊断报告,所述油样状态报告包括油样色谱指纹图谱、油样光谱吸收曲线、油样综合健康指数；所述油样故障诊断报告包括油样劣化原因分析、油样劣化等级评估和油样维护措施建议。
41、本发明实施例的第三方面，
42、提供一种电子设备，包括：
43、处理器；
44、用于存储处理器可执行指令的存储器；
45、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
46、本发明实施例的第四方面，
47、提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
48、与现有技术相比,本发明具有以下优点和有益效果:
49、(1) 引入了跨模态交互注意力机制,通过查询-键-值的注意力计算,自适应地挖掘色谱特征、光谱特征和电学参数特征之间的互补信息和关联性,得到全面、准确的油样特征表示。实验表明,融合后的特征在可视化图中表现出更明显的聚类效应,不同状态的油样可以被很好地区分开来。
50、(2) 在融合特征的基础上,利用门控循环单元建模油样状态随时间演变的规律。gru 通过引入更新门和重置门,自适应地调节当前时刻隐藏状态对历史信息的利用程度,可以有效地学习油样老化退化过程中的长期依赖关系。实验表明,gru 的引入显著提升了模型在跨时域样本上的预测准确率,验证了时序建模的有效性。
51、(3) 在色谱和光谱特征提取子网络中引入了自校准卷积模块,可以自适应地调整卷积特征图不同通道的重要性权重。通过 squeeze、excitation 和 reweight 操作,模型可以突出显著的特征通道、抑制冗余信息,从而得到更加精炼和判别性的特征表示。实验表明,在相同参数量下,引入自校准模块的网络取得了更优的特征提取性能。
52、(4) 采用端到端可微的网络结构,实现了从原始多源数据到油样状态预测结果的一体化建模,避免了人工特征工程的繁琐和主观性。模型具有很好的可解释性,可视化分析表明其内部学习到了油样老化退化的关键特征模式,与专家知识相吻合。模型的泛化性能优异,可以适应不同油样场景,为油样状态评估和设备运维提供可靠依据。
1.基于多模态信息的油色谱油样动态检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述多模态信号进行自适应预处理,通过小波变换的方式去除所述色谱信号和所述光谱信号中的高频噪声,提取油样的色谱特征峰和光谱吸收峰,并对电学参数信号进行归一化处理，分别得到色谱特征、光谱特征和电学参数特征包括：
3.根据权利要求1所述的方法，其特征在于，构建多模态油样特征融合网络,将所述色谱特征、所述光谱特征和所述电学参数特征输入到多模态油样特征融合网络中,通过注意力机制自适应调整所述色谱特征、所述光谱特征和所述电学参数特征对应的权重,利用门控循环单元网络学习所述色谱特征、所述光谱特征和所述电学参数特征之间的时序关联性,进行特征融合得到融合特征包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，将所述融合特征输入到油样动态检测模型中,所述油样动态检测模型采用双向长短时记忆网络刻画油样状态的双向时间依赖关系;在双向长短时记忆网络之上构建条件随机场层,建模所述融合特征对应的油样状态的马尔可夫转移特性, 利用动态规划算法解码获得油样的最优状态序列包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括训练油样动态检测模型：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.基于多模态信息的油色谱油样动态检测系统，用于实现前述权利要求1-7中任一项所述的方法，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
