本发明涉及图像数据异常检测的，特别涉及一种基于存储体加强的反向蒸馏无监督异常检测方法。
背景技术：
1、随着工业智能化水平的不断提高，计算机视觉技术被广泛运用于构建高效的自动化工业质检系统中。不同于传统的检测算法对于标注训练数据的高度依赖，异常检测技术通过仅使用目标工业产品的正常样本进行模型训练，并具有对检测图像进行异常判断和异常区域进行定位的能力，避免了在数据准备阶段收集异常样本困难，标注数据耗时费力的问题，同时具有优异的异常检测性能。
2、传统的基于知识蒸馏的异常检测方法将原始图像同时输入给教师网络和学生网络，让二者共同学习样本的特征，教师与学生的网络结构相同或相似，输入的数据流也相同，这妨碍了异常表征的多样化，使模型难以应对精确的异常检测与异常定位任务；现有的反向蒸馏教师学生网络通过采用类似自动编码器的架构克服了传统教师学生网络结构的不足之处，能放大异常数据的表征差异，在一定程度上改善异常检测效果，但教师网络与学生网络之间的瓶颈层还不足以为学生网络提供紧凑的表征，而且缺乏抑制异常信号的明确机制，尚有进一步改进的空间。
技术实现思路
1、针对现有技术中存在的不足之处，本发明的目的是提供一种基于存储体加强的反向蒸馏无监督异常检测方法，可用于自动化的工业质检系统进行工业产品的异常检测，避免高额的人力成本，能及时发现潜在的产品缺陷，避免进一步的安全、经济隐患。为了实现根据本发明的上述目的和其他优点，提供了一种基于存储体加强的反向蒸馏无监督异常检测方法，包括：
2、s1、收集目标工业产品正常图像样本并定义为训练数据集；
3、s2、搭建基于存储体加强的反向知识蒸馏网络异常检测模型；
4、s3、将训练数据集输入搭建的异常检测模型中的教师网络，提取教师网络内部三个不同层的不同尺度的表征，作为从教师蒸馏的知识信息；
5、s4、将三个不同层的表征分别输入异常检测模型中的三个存储体模块，每个存储体将其接受的输入表征作为一个查询项，根据各个存储项计算出一个新的表征作为查询后的表征，三个存储体分别执行同样的操作；
6、s5、将步骤s4中三个查询后的表征输入异常检测模型中单类别瓶颈嵌入模块，将三个不同层的不同尺度的表征对齐到相同的尺度，然后进一步将其融合并压缩，得到更小尺度的表征；
7、s6、将步骤s5中压缩后的表征输入输入异常检测模型中学生网络，学生网络内部的三个不同层依次将该表征重建为教师网络内部三个层的对应尺度，作为学生对教师行为模拟的知识信息；
8、s7、将训练数据集输入异常检测模型中的教师网络，并依次经过步骤s3、s4、s5和s6进行模型训练；
9、s8、通过训练好的模型，输入新获取的测试数据集，计算教师网络和学生网络对应层的不同尺度的表征的相似度并融合得到最终的异常图作为像素级异常分数对异常区域进行定位，选取异常图中的最大值作为图像的样本级异常分数以判断图像是否为异常。
10、优选的，步骤s2中异常检测模型包括作为编码器的教师网络、单类别瓶颈嵌入模块、三个独立的存储体模块及作为解码器的学生网络，且用于教师网络的特征提取骨干网络采用预训练的resnet18，用于学生网络的特征提取骨干网络采用可训练的deresnet1 8，单类别瓶颈嵌入模块采用可训练的resnet1 8的第4个残差块，每个存储体模块采用包含2000个张量的参数矩阵。
11、优选的，步骤s3中教师网络由三个不同层的依次连接的网络块组成，教师网络对输入图像x提取三层不同尺度的表征公式表达如下：
12、
13、其中的尺度依次降低。
14、优选的，步骤s4中三个存储体模块m1，m2，m3与教师的三层网络块分别对应，存储体模块mk将教师网络的表征作为查询项，对其进行处理，输出查询后的表征其中表征与表征的尺度完全相同；
15、优选的，步骤s4中存储体模块包含2000个存储项mi(i＝1，2，...，2000)组成，对于给定的查询项q，根据它和各个存储项的相似度，计算注意力权重w＝(w1，w2，...，w2000)(wi0(i＝1，2，...，2000)且)，其中wi用softmax计算，然后指定一个正阈值λ摈弃过小的权重值以稀疏化w，然后让w与各个存储项相乘得到查询后的表征公式表达如下：
16、
17、优选的，步骤s5中单类别瓶颈嵌入模块先对存储体模块输出的表征执行对齐操作θk(k＝1，2，3)，再对其执行融合并压缩的操作φbn，得到一个更小尺度的表征fbn，公式表达如下：
18、
19、其中三者的尺度相同，的尺度均大于fbn的尺度。
20、优选的，步骤s6中学生网络由三个不同层的依次连接的网络块组成，学生网络对表征fbn提取三层不同尺度的表征公式表达如下：
21、
22、其中的尺度依次增大，与的尺度相同。
23、优选的，步骤s7中蒸馏损失的计算过程是，先根据表征与之间的余弦相似度，每一对表征沿着通道方向对每个像素点(h，w)计算出异常图然后对mk进行累加得到标量损失lkd；存储体模块的熵损失le根据查询项的注意力权重w计算；公式表达如下：
24、
25、优选的，步骤s8具体为将待检测的数据集输入训练好的异常检测模型，计算和之间的余弦相似度，得到三张不同尺度的异常图后上采样至输入图像尺度并累加以得到最终的异常图，其中每个像素的值即为像素级异常分数，将异常图中的最大值作为样本级异常分数；选定样本级异常阈值as，若样本级异常分数大于as则判定该图像为异常，否则为正常；选定像素级异常阈值ap，像素级异常分数大于ap，则判定该像素点为异常，否则为正常，根据最终得到的二值化分割结果可具体定位异常区域位置。
26、本发明与现有技术相比，其有益效果是：通过反向蒸馏的网络结构用异质的架构来构建教师和学生模型以提高异常表征的多样性，同时通过存储体模块传向学生的异常信息进行过滤以加大教师和学生对异常的表征差异，增强了模型对正常数据的表达能力与异常检测能力。本申请通过获取目标工业产品的正常样本图像后，对模型进行训练，利用训练好的模型，将新获取的目标工业产品图像预处理后，输入模型中，得到异常检测结果。本方法构建了高效化、高检测精度的异常检测方法，可用于自动化的工业质检系统进行工业产品的异常检测，避免高额的人力成本，能及时发现潜在的产品缺陷，避免进一步的安全、经济隐患。
1.一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，步骤s2中异常检测模型包括作为编码器的教师网络、单类别瓶颈嵌入模块、三个独立的存储体模块及作为解码器的学生网络，且用于教师网络的特征提取骨干网络采用预训练的resnet18，用于学生网络的特征提取骨干网络采用可训练的deresnet18，单类别瓶颈嵌入模块采用可训练的resnet18的第4个残差块，每个存储体模块采用包含2000个张量的参数矩阵。
3.如权利要求2所述的一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，步骤s3中教师网络由三个不同层的依次连接的网络块组成，教师网络对输入图像x提取三层不同尺度的表征公式表达如下：
4.如权利要求3所述的一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，步骤s4中三个存储体模块m1，m2，m3与教师的三层网络块分别对应，存储体模块mk将教师网络的表征作为查询项，对其进行处理，输出查询后的表征其中表征与表征的尺度完全相同。
5.如权利要求4所述的一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，步骤s4中存储体模块包含2000个存储项mi(i＝1，2，...，2000)组成，每个存储项是和查询项维数相同的张量；对于给定的查询项q，根据存储项和各个存储项的相似度，计算注意力权重向量w＝(w1，w2，...，w2000)(wi 0(i＝1，2，...，2000)且)，其中wi是权重向量的各个元素，用softmax计算，然后指定一个正阈值λ摈弃过小的权重值以稀疏化w，然后让w与各个存储项相乘得到查询后的表征公式表达如下：
6.如权利要求1所述的一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，步骤s5中单类别瓶颈嵌入模块先对存储体模块输出的表征执行对齐操作θk(k＝1，2，3)，再对其执行融合并压缩的操作φbn，得到一个更小尺度的表征fbn，公式表达如下：
7.如权利要求1所述的一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，步骤s6中学生网络由三个不同层的依次连接的网络块组成，学生网络对表征fbn提取三层不同尺度的表征公式表达如下：
8.如权利要求1所述的一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，步骤s7中蒸馏损失的计算过程是，先根据表征与之间的余弦相似度，每一对表征沿着通道方向对每个像素点(h，w)计算出异常图(hk和wk分别是和是第k层异常图mk的高和宽)，然后对mk进行累加得到标量损失lkd；存储体模块的熵损失le根据查询项的注意力权重w计算；公式表达如下：
9.如权利要求1所述的一种基于存储体加强的反向蒸馏无监督异常检测方法，其特征在于，步骤s8具体为将待检测的数据集输入训练好的异常检测模型，计算和之间的余弦相似度，得到三张不同尺度的异常图后上采样至输入图像尺度并累加以得到最终的异常图，其中每个像素的值即为像素级异常分数，将异常图中的最大值作为样本级异常分数；选定样本级异常阈值as，若样本级异常分数大于as则判定该图像为异常，否则为正常；选定像素级异常阈值ap，像素级异常分数大于ap，则判定该像素点为异常，否则为正常，根据最终得到的二值化分割结果可具体定位异常区域位置。
