本发明涉及计算机视觉，特别是涉及一种工业缺陷图像像素级标注生成方法和装置。
背景技术：
1、现有的对工业缺陷图像生成像素级标注的方法，都无法满足工业场景中，标注与缺陷部分精准对齐的需求。基于生成对抗网络的方法，通常需要数百张人工标注的训练图像，无法满足工业场景仅使用少量有标注的缺陷图像(一般情况下为5张图像以内)，训练标注生成模型的需求。基于扩散模型，近期的一些工作通过利用文本与图像间的交叉注意力图来生成像素级标注。但是，由于交叉注意力图的分辨率较低，要得到与图像相同的高分辨率的像素级标注需要进行上采样。上采样过程导致缺陷图像中缺陷区域边界的像素级标注无法精准地与缺陷区域对齐，影响了工业缺陷图像及标注在工业缺陷检测任务中的应用效果。
2、鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
技术实现思路
1、本发明要解决的技术问题是现有技术中，无法实现与缺陷区域精准对齐的高分辨率像素级标注。
2、本发明采用如下技术方案：
3、第一方面，本发明提供了一种工业缺陷图像像素级标注生成方法，对标注生成模型进行训练，使用训练后的标注生成模型生成像素级标注；所述标注生成模型包括vae编码器、u-net编码器、u-net解码器、vae解码器、特征细化模块和掩码预测模块；其中，还划分为缺陷图像分支和正常图像分支，vae编码器、u-net编码器、u-net解码器、vae解码器、特征细化模块和掩码预测模块构成缺陷图像分支，vae编码器、u-net编码器、u-net解码器、vae解码器和掩码预测模块还构成正常图像分支；所述对标注生成模型进行训练，具体包括：
4、缺陷图像分支提取缺陷图像的判别性特征，使用所述缺陷图像的判别性特征对缺陷图像进行低分辨率像素级标注；
5、正常图像分支提取正常图像的判别性特征，使用所述正常图像的判别性特征对正常图像进行低分辨率像素级标注；
6、缺陷图像分支对缺陷图像的判别性特征和vae解码器输出的高分辨率特征进行融合，得到精细化特征，使用精细化特征对缺陷图像进行高分辨率像素级标注；
7、对正常图像的低分辨率像素级标注进行上采样，得到正常图像的高分辨率像素级标注；
8、根据缺陷图像的低分辨率像素级标注、正常图像的低分辨率像素级标注、缺陷图像的高分辨率像素级标注、正常图像的高分辨率像素级标注、缺陷图像掩码和正常图像掩码，生成目标函数，使用目标函数对标注生成模型进行优化。
9、优选的，所述缺陷图像的判别性特征包括第一特征f1和第二特征f2；所述提取缺陷图像的判别性特征，使用所述缺陷图像的判别性特征对缺陷图像进行低分辨率像素级标注，具体包括：
10、使用3×3卷积块对u-net解码器输出的第一特征f1进行通道数压缩，得到第一压缩特征f′1，使用卷积块对u-net解码器输出的第二特征f2进行通道数压缩，得到第二压缩特征f′2；其中，所述第一特征f1为u-net解码器的第二层级输出的特征，所述第二特征f2为u-net解码器的第三层级输出的特征；
11、对第一压缩特征f′1进行上采样，将第一压缩特征f′1上采样后的结果与第二压缩特征f′2进行拼接，得到拼接特征f；
12、对所述拼接特征f应用多个变换层，得到粗糙特征
13、在所述粗糙特征上应用3×3卷积层和softmax函数，生成缺陷图像的低分辨率像素级标注。
14、优选的，所述高分辨率特征包括第i高分辨率特征，i为整数，i大于0且i小于4；所述对缺陷图像的判别性特征和vae解码器输出的高分辨率特征进行融合，得到精细化特征，具体包括：
15、依次将第i级特征与第i高分辨率特征相融合，得到第i+1级特征，以第4级特征作为所述精细化特征；其中，以缺陷图像的判别性特征作为第1级特征；
16、所述将第i级特征与第i高分辨率特征相融合，得到第i+1级特征，具体包括：
17、将第i级特征与第i高分辨率特征对齐；
18、对第i级特征依次进行1×1卷积和上采样后，再与相应对齐的第i高分辨率特征进行逐元素相乘，得到第i优化边界特征；
19、将第i级特征经过两个卷积块进行处理后，与第i优化边界特征相加，得到所述第i+1级特征。
20、优选的，所述使用精细化特征对缺陷图像进行高分辨率像素级标注，具体包括：
21、所述精细化特征上应用3×3卷积层和softmax函数，生成缺陷像素级标注
22、使用预设阈值τ对所述缺陷像素级标注的第二通道进行二值化，得到缺陷图像的高分辨率像素级标注。
23、优选的，所述缺陷图像掩码包括缺陷图像的低分辨率真实掩码和缺陷图像的高分辨率真实掩码，所述正常图像掩码包括正常图像的低分辨率真实掩码和正常图像的高分辨率真实掩码；所述根据缺陷图像的低分辨率像素级标注、正常图像的低分辨率像素级标注、缺陷图像的高分辨率像素级标注、正常图像的高分辨率像素级标注、缺陷图像掩码和正常图像掩码，生成目标函数，具体包括：
24、所述目标函数为
25、
26、其中，f()代表计算focal损失，和分别表示缺陷图像的低分辨率像素级标注和缺陷图像的高分辨率像素级标注，和分别表示正常图像的低分辨率像素级标注和正常图像的高分辨率像素级标注，mdf和m′df分别表示缺陷图像的低分辨率真实掩码和缺陷图像的高分辨率真实掩码，mob和m′ob分别代表正常图像的低分辨率真实掩码和正常图像的高分辨率真实掩码。
27、优选的，所述缺陷图像是预先使用少样本缺陷图像生成模型生成的，少样本缺陷图像生成模型包括所述的u-net编码器、所述的u-net解码器、注意力模块、第一目标函数、第二目标函数和第三目标函数；其中，注意力模块、第一目标函数和第二目标函数划分至缺陷图像分支，第三目标函数划分至正常图像分支；两分支的训练过程分开进行，但在共享的u-net上实施；使用混合训练策略对少样本缺陷图像生成模型进行训练，具体包括：
28、将多个缺陷词元和单个产品词元组合得到不平衡异常文本提示，将所述不平衡异常文本提示和不平衡异常文本提示中的与产品相关的部分作为引导条件分别输入至所述缺陷图像分支和所述正常图像分支中；
29、选取少样本缺陷图像以及对应的缺陷图像掩码作为缺陷图像分支的输入，所述缺陷图像分支获取缺陷图像的特征，并根据缺陷图像所对应的缺陷图像掩码，将不平衡异常文本提示中的缺陷词元对齐到图像中的缺陷区域，以优化所述第一目标函数和第二目标函数；
30、选取固定数量的正常图像作为正常图像样本分支的输入，所述正常图像分支获取正常图像的特征，使用不平衡异常文本提示中的与产品相关的部分，优化第三目标函数；其中，所述混合训练策略用于使不同缺陷类别的缺陷图像共同参与训练。
31、优选的，所述第一目标函数为其中，是为第n个缺陷词元对应的交叉注意力图，n是缺陷词元的个数，l表示在对齐过程中用到的交叉注意力图对应的u-net的层数量，ml是二值的掩码，大小为r×r像素，缺陷区域值为1，非缺陷区域值为0，是产品词元所对应的交叉注意力图，⊙为按像素进行乘法运算；
32、所述第二目标函数为其中，edf表示不平衡异常文本提示经过文本编码器之后得到的条件向量，zdf为缺陷图像xdf通过vae编码器得到的潜向量，∈df为随机噪声，tdf为加噪步数，为使用∈df和∈df对zdf加噪所得到的加噪潜向量为预测的噪声。
33、优选的，所述第三目标函数为
34、
35、；其中，eob表示不平衡异常文本提示中与产品相关的部分经过文本编码器之后得到的条件向量，zob为正常图像xob通过vae编码器得到的潜向量，∈ob为随机噪声，tob为加噪步数，为使用∈ob和tob对zob加噪所得到的加噪潜向量，为预测的噪声。
36、第二方面，本发明还提供了一种工业缺陷图像像素级标注生成装置，用于实现第一方面所述的工业缺陷图像像素级标注生成方法，所述装置包括：
37、至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行第一方面所述的工业缺陷图像像素级标注生成方法。
38、第三方面，本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的方法和/或第二方面所述的方法。
39、第四方面，提供了一种芯片，包括：处理器和接口，用于从存储器中调用并运行存储器中存储的计算机程序，执行如第一方面的方法。
40、第五方面，提供了一种包含指令的计算机程序产品，当该指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面的方法。
41、本发明通过引入vae解码器，以获取得到缺陷图像的高分辨率特征，再通过对缺陷图像的判别性特征和高分辨率特征进行融合得到精细化特征，使用精细化特征对缺陷图像进行高分辨率像素级标注，从而能够实现与缺陷区域精准对齐的高分辨率像素级标注。
1.一种工业缺陷图像像素级标注生成方法，其特征在于，对标注生成模型进行训练，使用训练后的标注生成模型生成像素级标注；所述标注生成模型包括vae编码器、u-net编码器、u-net解码器、vae解码器、特征细化模块和掩码预测模块；其中，还划分为缺陷图像分支和正常图像分支，vae编码器、u-net编码器、u-net解码器、vae解码器、特征细化模块和掩码预测模块构成缺陷图像分支，vae编码器、u-net编码器、u-net解码器、vae解码器和掩码预测模块还构成正常图像分支；所述对标注生成模型进行训练，具体包括：
2.根据权利要求1所述的工业缺陷图像像素级标注生成方法，其特征在于，所述缺陷图像的判别性特征包括第一特征f1和第二特征f2；所述提取缺陷图像的判别性特征，使用所述缺陷图像的判别性特征对缺陷图像进行低分辨率像素级标注，具体包括：
3.根据权利要求1所述的工业缺陷图像像素级标注生成方法，其特征在于，所述高分辨率特征包括第i高分辨率特征，i为整数，i大于0且i小于4；所述对缺陷图像的判别性特征和vae解码器输出的高分辨率特征进行融合，得到精细化特征，具体包括：
4.根据权利要求1所述的工业缺陷图像像素级标注生成方法，其特征在于，所述使用精细化特征对缺陷图像进行高分辨率像素级标注，具体包括：
5.根据权利要求1所述的工业缺陷图像像素级标注生成方法，其特征在于，所述缺陷图像掩码包括缺陷图像的低分辨率真实掩码和缺陷图像的高分辨率真实掩码，所述正常图像掩码包括正常图像的低分辨率真实掩码和正常图像的高分辨率真实掩码；所述根据缺陷图像的低分辨率像素级标注、正常图像的低分辨率像素级标注、缺陷图像的高分辨率像素级标注、正常图像的高分辨率像素级标注、缺陷图像掩码和正常图像掩码，生成目标函数，具体包括：
6.根据权利要求1所述的工业缺陷图像像素级标注生成方法，其特征在于，所述缺陷图像是预先使用少样本缺陷图像生成模型生成的，少样本缺陷图像生成模型包括权利要求1所述的u-net编码器、权利要求1所述的u-net解码器、注意力模块、第一目标函数、第二目标函数和第三目标函数；其中，注意力模块、第一目标函数和第二目标函数划分至缺陷图像分支，第三目标函数划分至正常图像分支；两分支的训练过程分开进行，但在共享的u-net上实施；使用混合训练策略对少样本缺陷图像生成模型进行训练，具体包括：
7.根据权利要求6所述的工业缺陷图像像素级标注生成方法，其特征在于，所述第一目标函数为其中，是为第n个缺陷词元对应的交叉注意力图，n是缺陷词元的个数，l表示在对齐过程中用到的交叉注意力图对应的u-net的层数量，m1是二值的掩码，大小为r×r像素，缺陷区域值为1，非缺陷区域值为0，是产品词元所对应的交叉注意力图，⊙为按像素进行乘法运算；
8.根据权利要求6所述的工业缺陷图像像素级标注生成方法，其特征在于，所述第三目标函数为
9.一种工业缺陷图像像素级标注生成装置，其特征在于，包括：
10.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成权利要求1-8任一所述的方法。
