一种基于SegAug视觉分割模型的伪异常增强方法及相关装置

    技术2026-08-14  9


    所属的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“平台”。本发明再一个实施例中,提供一种基于segaug视觉分割模型的伪异常增强系统,该系统能够用于实现上述基于segaug视觉分割模型的伪异常增强方法,具体的,该基于segaug视觉分割模型的伪异常增强系统包括分割模块、学习模块、分布模块以及输出模块。其中,分割模块,通过segaug视觉分割模型对正常图像组成的训练集样本进行分割,得到组件掩码和背景掩码,利用每个训练集样本的组件掩码和背景掩码,通过粘贴、填充、引入疤痕的处理,生成三类伪异常;学习模块,基于粘贴型、填充型、疤痕型三类伪异常构建多类分类器促进自监督学习,混合正常样本与伪异常样本投入训练,提取得到包含局部纹理特征和全局高级语义特征的深度特征信息;分布模块,基于深度特征信息构建针对局部异常检测以识别结构异常的局部特征分布,构建针对全局信息捕获以识别逻辑异常的全局特征分布,计算出局部异常分数与全局异常分数;输出模块,基于局部异常分数和全局异常分数定义测试图像的异常分数,完成伪异常增强。本发明再一个实施例中,提供了一种终端设备,该终端设备包括处理器以及存储器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor、dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其是终端的计算核心以及控制核心,其适于实现一条或一条以上指令,具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能;本发明实施例所述的处理器可以用于基于segaug视觉分割模型的伪异常增强方法的操作,包括:通过segaug视觉分割模型对正常图像组成的训练集样本进行分割,得到组件掩码和背景掩码,利用每个训练集样本的组件掩码和背景掩码,通过粘贴、填充、引入疤痕的处理,生成三类伪异常;构建多类分类器促进自监督学习,混合正常样本与伪异常样本投入训练,提取得到包含局部纹理特征和全局高级语义特征的深度特征信息;基于深度特征信息,构建针对局部异常检测以识别结构异常的局部特征分布,构建针对全局信息捕获以识别逻辑异常的全局特征分布,计算出局部异常分数与全局异常分数;基于局部异常分数和全局异常分数定义测试图像的异常分数,完成伪异常增强。本发明再一个实施例中,本发明还提供了一种存储介质,具体为计算机可读存储介质(memory),所述计算机可读存储介质是终端设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括终端设备中的内置存储介质,当然也可以包括终端设备所支持的扩展存储介质,可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任一合适的组合。计算机可读存储介质还包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任一合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任一合适的组合。可以以一种或多种程序设计语言的任一组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、c++等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任一种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令,以实现上述实施例中有关基于segaug视觉分割模型的伪异常增强方法的相应步骤;计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤:通过segaug视觉分割模型对正常图像组成的训练集样本进行分割,得到组件掩码和背景掩码,利用每个训练集样本的组件掩码和背景掩码,通过粘贴、填充、引入疤痕的处理,生成三类伪异常;构建多类分类器促进自监督学习,混合正常样本与伪异常样本投入训练,提取得到包含局部纹理特征和全局高级语义特征的深度特征信息;基于深度特征信息,构建针对局部异常检测以识别结构异常的局部特征分布,构建针对全局信息捕获以识别逻辑异常的全局特征分布,计算出局部异常分数与全局异常分数;基于局部异常分数和全局异常分数定义测试图像的异常分数,完成伪异常增强。请参阅图6,终端设备为计算机设备,该实施例的计算机设备60包括:处理器61、存储器62以及存储在存储器62中并可在处理器61上运行的计算机程序63,该计算机程序63被处理器61执行时实现实施例中的储层改造井筒中流体组成计算方法,为避免重复,此处不一一赘述。或者,该计算机程序63被处理器61执行时实现实施例储层改造井筒中流体组成计算系统中各模型/单元的功能,为避免重复,此处不一一赘述。计算机设备60可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备60可包括,但不仅限于,处理器61、存储器62。本领域技术人员可以理解,图6仅仅是计算机设备60的示例,并不构成对计算机设备60的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。所称处理器61可以是中央处理单元(centralprocessingunit,cpu),还可以是其它通用处理器、中央处理器、图形处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、基于量子计算的数据处理逻辑器、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器62可以是计算机设备60的内部存储单元,例如计算机设备60的硬盘或内存。存储器62也可以是计算机设备60的外部存储设备,例如计算机设备60上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,存储器62还可以既包括计算机设备60的内部存储单元也包括外部存储设备。存储器62用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器62还可以用于暂时地存储已经输出或者将要输出的数据。本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistiverandomaccessmemory,mram)、铁电存储器(ferroelectricrandomaccessmemory,fram)、相变存储器(phasechangememory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。请参阅图7,终端设备600为电子设备,电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。其中,存储单元存储有程序代码,程序代码可以被处理单元610执行,使得处理单元610执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,处理单元610可以执行如图1中所示的步骤。存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(rom)6203。存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任一总线结构的局域总线。电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。实施例基于segaug视觉分割模型的伪异常增强方法的操作,包括以下步骤:1.数据预处理数据加载:从存储器中加载原始图像数据和对应的标签。数据增强:对图像进行各种数据增强操作,如旋转、缩放、翻转等,以增加数据的多样性。2.生成伪异常数据生成组件掩码和背景掩码:使用segaug视觉分割模型,根据输入图像生成用于标识图像中的重要区域和背景区域的组件掩码和背景掩码。生成伪异常:粘贴型伪异常:将组件掩码中的某些部分复制并粘贴到组件掩码中的随机位置,模拟粘贴类型的伪异常。填充型伪异常:在组件掩码中随机填充其他图像块,模拟填充类型的伪异常。疤痕型伪异常:在组件掩码中添加随机形状的疤痕,模拟疤痕类型的伪异常。3.特征提取提取特征:处理器使用预训练的resnet-18特征提取器对原始图像和伪异常图像进行处理,提取特征表示。4.模型训练损失函数计算:计算多类交叉熵损失函数,用于指导模型的训练。反向传播与优化:执行反向传播算法,根据损失函数的梯度更新模型参数。5.模型评估与优化性能评估:处理器根据验证集数据评估模型的性能,计算准确率、召回率、f1分数等指标。模型优化:根据评估结果,调整模型结构或训练参数,进一步优化模型性能。6.推理与检测加载并执行模型:加载训练好的异常检测模型,对新输入的图像进行推理。异常检测:处理器计算局部与全局分支的异常分数,得到测试图像的异常分数,判断输入图像是否包含异常。7.结果输出生成报告:生成检测报告,包括异常分数、异常类型、定位信息等。可视化展示将检测结果可视化,便于用户查看和分析。实验数据集为评估本发明的方法,选择的数据集涵盖逻辑异常和结构异常。采用受试者工作特征(roc)的曲线下面积(auc)作为评估指标。mvteclocoadmvteclocoad数据集的引入主要是为了解决工业异常检测中结构异常和逻辑异常同时发生的问题。为了清楚地说明逻辑异常和结构异常之间的区别,部分示例如图1所示。该数据集包含五个类别,共有1772张用于训练的正常图像。测试集包括57张正常图像、432张结构异常图像56张逻辑异常图像。对于每个类别,测试集都包含正常、逻辑异常和结构异常图像。共现异常检测螺丝数据集(cad-sd)cad-sd中的逻辑异常被称为“共现异常”。该数据集包含400张正常训练图像,而测试集包21张正常图像,以及8张主要显示划痕和油漆问题的结构异常图像。此外,还有84张图像描绘了逻辑异常,可分为两类:过度耦合和缺失。部分示例如图1所示。实验条件图像大小调整为256×256。用于图像分割的sam模型为“vit_h”。对于每个类别的数据集,训练模型200个时期,并使用学习率为0.03的sgd优化器,批量大小为32。所有实验均在带有nvidia3050的pytorch1.13.0上实现。实验结果将本发明的方法segaug视觉分割模型与基于重建的draem、thf、ast、基于特征的patchcore、自监督的cutpaste以及专为逻辑异常检测设计的模型gcad进行了比较。mvteclocoad和cad-sd数据集的结果分别显示在表1和表2中。表1.mvteclocoad数据集上图像级检测结果(auroc%)的定量比较表1描述了本发明方法与现有其他模型在mvteclocoad数据集上进行异常检测任务结果比较,即图片级别的检测结果比较,可以发现,在逻辑异常的检测结果中,本发明所提出的方法比现有方法高出34.6%,在结构异常的类别中,高出了18.3%。表2.cad-sd数据集上图像级检测结果(auroc%)的定量比较表2描述了本发明方法与现有其他模型在cad-sd数据集上图像级检测的结果比较,可以看到,本发明的图像级的检测任务取得了更好的结果。本发明解决了逻辑异常类型生成伪异常的难题;通过引入新的数据增强方法并将其与自监督学习任务相结合,提出异常检测框架,从局部和全局两个角度全面检测异常;摆脱了先前研究仅依靠合成纹理来增强局部模型表示而忽略全局表示的局限,为更复杂的现实工业场景中的异常检测提供了一种新方法;在mvteclocoad数据集上取得了最佳结果,证实了其有效性。综上所述,本发明一种基于segaug视觉分割模型的伪异常增强方法及相关装置,包含三种不同的伪异常;提出的伪异常数据增强方法打破了以往仅依靠合成纹理增强局部模型表征而忽略全局表征的研究现状,为更复杂的现实工业场景异常检测提供了一种新的方法;并提出了一种结合局部特征和全局特征的异常检测框架,对样本进行局部和全局异常检测。该方法通过对局部和全局异常的综合评估,与实际工业场景中的异常检测更接近。本发明的方法有效地提高了结构异常和逻辑异常的联合检测性能。在具有挑战性的行业异常检测基准mvteclocoad数据集上,取得了最先进的结果,证明了本发明方法的有效性。所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。本领域普通技术人员可以意识到,结合本发明中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。在本发明所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、电载波信号、电信信号以及软件分发介质等,需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。


    背景技术:

    1、视觉异常检测对于自动化工业质量检测系统非常重要,其目的是识别图像中的异常或异常模式。在实际的工业制造中,大多数产品都是典型的正常产品,在短时间内收集足够种类、数量的异常样本十分困难,采用依赖异常样本的有监督模型进行异常检测并不合适。相比之下,无监督模型只关注正态样本的分布,理想情况下,任何偏离该分布的情况都可以归类为异常,从而较少受到未知异常形式的约束。因此,无监督模型更适合于工业中异常检测的场景。

    2、虽然无监督方法更适合于异常检测,但在实践中,由于缺乏对真实异常的监督,模型往往难以自动提取有意义的特征。因此,需要将特定领域的先验知识合并到模型中,从而提高其性能。工业视觉异常检测主要有两种主流方法:基于重建和基于特征的方法。

    3、基于重建的方法中,需要基于正常样本训练的模型可以成功地重建为正常模式,而在处理异常部分时,该部分很难重建为正常模式,因此可以取重建误差作为异常指标。然而,网络对异常广泛的泛化能力可能会导致异常被重建,从而降低异常的可分辨性。考虑到以前工业检测中的异常通常表现为结构异常,即出现全新的局部结构,例如划痕或污渍,这些结构不存在于训练数据集中。研究人员发现,通过将合成纹理作为伪异常引入正常样本中,然后使用去噪技术训练重建网络,可以显著提高异常检测的性能。

    4、对于基于特征的方法,目前的工业异常检测方法主要使用在imagenet上监督的预训练网络作为特征提取器。利用预训练网络将训练集样本投影到特征空间中,然后建立正态分布。这种分布通常使用高斯分布、特征库或归一化流(nf)来表示。然后通过评估测试样本的特征与已建立的正态分布之间的距离来计算异常分数。另一种基于特征的异常检测方法利用自监督学习,避免了使用imagenet上的预训练网络直接提取特征,而让网络通过使用合成纹理来学习正常样本的特征。随后将该网络作为特征提取器,建立正态样本的特征分布。

    5、尽管使用合成纹理作为伪异常可以显著提高异常检测的性能,但这些方法在处理逻辑异常时存在局限性。逻辑异常通常不表现为局部纹理变化,而是表现出高层次的语义全局差异,例如图像违反了训练数据集中存在的某些基本逻辑或几何约束,如图1所示。此外,尽管先前的研究在单个物体的结构异常检测方面取得了可喜的成果,但在多组分产品中,每个成分都有一定程度的旋转变化,当这些成分组合在一起时,会产生许多不同的图案和纹理,同一类别中正常样品之间的纹理差异可能会很大,很难用纹理变化来判断产品是否正常。在实际应用中,许多标准形式往往都是由多个组件组合而成,使用合成纹理的结构异常检测无法完成检测任务。


    技术实现思路

    1、本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于segaug视觉分割模型的伪异常增强方法及相关装置,通过引入伪异常则能够有效提升模型检测能力。本发明提出了一种基于segaug视觉分割模型的伪异常增强方法,能够有效增强模型检测全局高级语义逻辑异常的能力,用于解决视觉异常检测任务中,缺乏真实异常样本导致模型性能低下的技术问题。

    2、本发明采用以下技术方案:

    3、一种基于segaug视觉分割模型的伪异常增强方法,包括以下步骤:

    4、s1、通过segaug视觉分割模型对正常图像组成的训练集样本进行分割,得到组件掩码和背景掩码,利用每个训练集样本的组件掩码和背景掩码,通过粘贴、填充、引入疤痕的处理,生成三类伪异常;

    5、s2、构建多类分类器促进自监督学习,混合正常样本与伪异常样本投入训练,提取得到包含局部纹理特征和全局高级语义特征的深度特征信息;

    6、s3、基于步骤s2获得的深度特征信息,构建针对局部异常检测以识别结构异常的局部特征分布,构建针对全局信息捕获以识别逻辑异常的全局特征分布,计算出局部异常分数与全局异常分数;

    7、s4、基于步骤s3获得的局部异常分数和全局异常分数定义测试图像的异常分数,完成伪异常增强。

    8、优选地,步骤s1中,组件掩码和背景掩码分别为:

    9、给定一个正常图像的训练集x,将训练样本xi调整为h×w,并将其输入到segaug视觉分割模型中进行分割,得到掩码集

    10、根据最小边界矩形面积对掩码集中面积小的掩码进行筛选,得到mi;

    11、背景掩码bi的四角中至少有一对对角线上存在像素分布,其余掩码构成组件掩码集合对掩码集合中的每个掩码应用形态学开运算,并得到ci,对于ci中的每个掩码计算其中第s个轮廓的最小边界矩形的面积,并将最大的面积表示为最后将面积最大的掩码指定为背景掩码,将上述操作应用于每个训练集样本,获得背景掩码b和组件掩码集c。

    12、优选地,步骤s1中,利用每个训练集样本的组件掩码和背景掩码生成粘贴型、填充型、疤痕型三类伪异常具体为:

    13、在每次迭代中,从每个训练样本x的组件掩码集c中随机选择一个掩码;然后在原始图像中分割与该掩码相对应的区域,并平滑分割区域的边缘,随后通过背景掩码b的最小边界矩形确定xseg中心在x内的新坐标,最后将xseg粘贴到原始图像中,得到粘贴型伪异常xpasting;

    14、对于每次迭代中的每个样本,从组件掩码集中随机选择一个掩码;随后用从图像中随机选择的图像块填充与掩码相对应的区域,得到填充型xfilling伪异常;

    15、对于每次迭代中的每个样本,从集合c中随机选择一个组件掩码,计算其最小边界矩形,并生成一个随机形状的平行四边形,在该区域内填充图像块,得到疤痕型伪异常xscar。

    16、优选地,粘贴型伪异常、填充型伪异常和疤痕型伪异常分别为:

    17、xpasting=q1(x,b,c)

    18、xfilling=q2(x,c)

    19、xscar=q3(x,c)

    20、其中,x表示训练样本,b表示背景掩码,c表示组件掩码,q1表示将随机组件掩码c对应的原始图像x区域粘贴在其相对于背景掩码b的坐标上,q2表示将原始图像x中随机图像块填充至随机组件掩码c对应的区域,q3表示在随机组件掩码c的最小边界矩形中生成随机平行四边形,并在该区域填充图像块。

    21、优选地,步骤s2中,利用resnet-18作为多类分类器的特征提取器,同时结合具有两个隐藏层的多层感知器进行分类,并采用多类交叉熵作为损失函数。

    22、优选地,自监督学习的训练目标定义如下:

    23、l=ex∈x{l(i(x),0)+l(i(q1(x)),1)+l(i(q2(x)),2)+l(i(q3(x)),3)}

    24、其中,l(·,·)表示多类交叉熵损失函数,i(·)表示图像的预处理。

    25、优选地,步骤s3中,局部分支中采用patchcore的异常检测结构,全局分支中使用自监督学习任务中训练的特征提取器提取全局特征,采用每幅测试图像与正态分布之间的马哈拉诺比斯距离确定异常分数。

    26、优选地,测试图像xtest的局部异常分数alocal(xtest)为:

    27、

    28、其中,nk(x*)表示m中与测试补丁特征x*距离最近的k个补丁特征,θ表示测试图像补丁特征在m中的相应最近邻居,x*为测试补丁特征;

    29、全局异常分数aglobal(xtest)为:

    30、

    31、其中,表示使用全局自适应平均池化来保留全局信息,μ为全局信息的均值,∑为协方差。

    32、优选地,步骤s4中,测试图像的异常分数a(xtest)为:

    33、a(xtest)=αalocal(xtest)+βaglobal(xtest)

    34、其中,α=β=1,alocal(xtest)表示局部异常分数,aglobal(xtest)表示全局异常分数。

    35、第二方面,本发明实施例提供了一种基于segaug视觉分割模型的伪异常增强系统,包括:

    36、分割模块,通过segaug视觉分割模型对正常图像组成的训练集样本进行分割,得到组件掩码和背景掩码,利用每个训练集样本的组件掩码和背景掩码,通过粘贴、填充、引入疤痕的处理,生成三类伪异常;

    37、学习模块,基于粘贴型、填充型、疤痕型三类伪异常构建多类分类器促进自监督学习,混合正常样本与伪异常样本投入训练,提取得到包含局部纹理特征和全局高级语义特征的深度特征信息;

    38、分布模块,基于深度特征信息构建针对局部异常检测以识别结构异常的局部特征分布,构建针对全局信息捕获以识别逻辑异常的全局特征分布,计算出局部异常分数与全局异常分数;

    39、输出模块,基于局部异常分数和全局异常分数定义测试图像的异常分数,完成伪异常增强。

    40、第三方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于segaug视觉分割模型的伪异常增强方法的步骤。

    41、第四方面,本发明实施例提供了一种计算机可读存储介质,包括计算机程序,所述计算机程序被处理器执行时实现上述基于segaug视觉分割模型的伪异常增强方法的步骤。

    42、与现有技术相比,本发明至少具有以下有益效果:

    43、一种基于segaug视觉分割模型的伪异常增强方法,通过引入新的数据增强方法并将其与自监督学习任务相结合,提出了一种新的异常检测框架。该框架从局部和全局两个角度全面检测异常,在能够有效检测结构异常的基础上,显著提升了对违反某些基本逻辑或几何约束的全局、高级语义逻辑异常的检测性能。

    44、进一步的,组件掩码能够突出图像中特定组件或区域,让模型专注于学习这些区域的特征,背景掩码能够让模型屏蔽或忽略图像中与特征不相关的背景区域,从而将注意力集中在组件特征上,从而提高模型对组件缺陷的检测能力。

    45、进一步的,粘贴型伪异常通过将正常组件的某一部分粘贴到其他部位,模拟现实中组件表面可能出现的重复或异物现象,能够增强模型对局部异常的敏感性,增加训练样本的多样性;填充型伪异常通过将组件的某一部分其他图案填充,模拟组件表面可能出现的损坏或污染现象,可以提高模型对破坏性异常的检测能力,减少过拟合;疤痕型伪异常通过在组件表面生成类似疤痕的线条或图案,模拟组件表面可能出现的划痕或裂缝现象,增强模型对线性异常的敏感性,同时也增加了异常样本的多样性。

    46、进一步的,自监督学习任务中,resnet-18特征提取器的残差结构有助于缓解梯度消失问题,使得网络能够训练得更深,从而捕捉到更复杂的特征;使用具有两个隐藏层的多层感知器,可以将resnet-18提取到的特征进一步映射到更高维的特征空间,利于捕捉更复杂的模式和关系,提高分类器的表达能力;多类交叉熵损失函数能够有效地处理多类分类问题,使模型在区分不同类别时具有更高的精度。自监督学习任务可以有效地利用未标注的数据来训练模型学习具有判别力的特征。

    47、进一步的,自监督学习的训练目标设置对于模型在没有大量标注数据的情况下,仍能有效学习和提取有用的特征至关重要。自监督学习通过设计特定的预训练任务,使模型能够在未标注的数据上进行训练,从而减少了对大量标注数据的需求;使模型能够学习到数据的通用表示,增强泛化能力;有助于模型学习到更加多样化的特征表示,提高异常检测的准确性。

    48、进一步的,局部分支中,patchcore异常检测结构通过对图像进行局部分割并分析每个小块,可以捕捉到细粒度的局部异常特征;其利用一种基于记忆库的方法来存储正常样本的特征表示,可以在内存中高效存储大量的正常样本特征,减少计算资源的占用。全局分支中,马哈拉诺比斯距离度量方法在高维空间中表现良好,能够捕捉到样本间的相关性和分布特性,通过其获得异常分数能够提高检测准确性;自监督学习任务训练的特征提取器能够学习到包括整体结构和高级语义信息的全局特征,对逻辑异常的检测意义重大

    49、进一步的,测试图像的异常分数表示测试图像相对于正常样本的偏离程度,这种量化使得异常检测更加直观和可解释。

    50、可以理解的是,上述第二方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

    51、综上所述,本发明弥补了先前研究仅依靠合成纹理来增强模型局部表示而忽略全局表示的不足,为同时包含结构缺陷和逻辑缺陷的复杂的工业异常检测提供了一种新颖有效的方法。

    52、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。


    技术特征:

    1.一种基于segaug视觉分割模型的伪异常增强方法,其特征在于,包括以下步骤:

    2.根据权利要求1所述的基于segaug视觉分割模型的伪异常增强方法,其特征在于,步骤s1中,组件掩码和背景掩码分别为:

    3.根据权利要求1所述的基于segaug视觉分割模型的伪异常增强方法,其特征在于,步骤s1中,利用每个训练集样本的组件掩码和背景掩码生成粘贴型、填充型、疤痕型三类伪异常具体为:

    4.根据权利要求3所述的基于segaug视觉分割模型的伪异常增强方法,其特征在于,粘贴型伪异常、填充型伪异常和疤痕型伪异常分别为:

    5.根据权利要求1所述的基于segaug视觉分割模型的伪异常增强方法,其特征在于,步骤s2中,利用resnet-18作为多类分类器的特征提取器,同时结合具有两个隐藏层的多层感知器进行分类,并采用多类交叉熵作为损失函数。

    6.根据权利要求5所述的基于segaug视觉分割模型的伪异常增强方法,其特征在于,自监督学习的训练目标定义如下:

    7.根据权利要求1所述的基于segaug视觉分割模型的伪异常增强方法,其特征在于,步骤s3中,局部分支中采用patchcore的异常检测结构,全局分支中使用自监督学习任务中训练的特征提取器提取全局特征,采用每幅测试图像与正态分布之间的马哈拉诺比斯距离确定异常分数。

    8.根据权利要求7所述的基于segaug视觉分割模型的伪异常增强方法,其特征在于,测试图像xtest的局部异常分数alocal(xtest)为:

    9.根据权利要求1所述的基于segaug视觉分割模型的伪异常增强方法,其特征在于,步骤s4中,测试图像的异常分数a(xtest)为:

    10.一种基于segaug视觉分割模型的伪异常增强系统,其特征在于,包括:


    技术总结
    本发明公开了一种基于SegAug视觉分割模型的伪异常增强方法及相关装置,通过SegAug视觉分割模型对正常图像组成的训练集样本进行分割,得到组件掩码和背景掩码,利用每个训练集样本的组件掩码和背景掩码,通过粘贴、填充、引入疤痕生成三类伪异常;构建多类分类器促进自监督学习,混合正常样本与伪异常样本投入训练,提取得到包含局部纹理特征和全局高级语义特征的深度特征信息;构建针对局部异常检测以识别结构异常的局部特征分布,构建针对全局信息捕获以识别逻辑异常的全局特征分布,计算出局部异常分数与全局异常分数;基于局部异常分数和全局异常分数定义测试图像的异常分数,完成伪异常增强。有效增强模型检测全局高级语义逻辑异常的能力。

    技术研发人员:李兵,金柳亦,赵卓,杜肖,刘桐坤,金霄,蒋冰克
    受保护的技术使用者:西安交通大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-46869.html

    最新回复(0)