本申请涉及网络安全,尤其涉及一种查询式对抗样本防御方法、装置、设备及介质。
背景技术:
1、深度神经网络由于其强大的学习能力,在许多领域得到了广泛应用,如计算机视觉,自然语言处理和控制领域等。
2、但是,许多研究表明,深度神经网络模型在对抗环境中易受攻击。示例性的,通过人脸或声纹识别来确认身份的情况下,目标对象可能会使用应用程序编程接口(application programming interface,api)来不断查询系统以验证身份。这导致攻击者可以利用这些api进行恶意行为,例如通过不断尝试不同的人脸或声纹图像来欺骗系统,并在身份验证过程中构造对抗样本。一旦攻击者成功生成了对抗样本,他们便可绕过身份验证并获取未经授权的访问权限,从而导致敏感信息泄露、重要数据丢失或篡改等风险。
3、因此,如何有效防御对抗样本的攻击是亟需解决的问题。
技术实现思路
1、本申请提供了一种查询式对抗样本防御方法、装置、设备及介质,用以有效防御对抗样本的攻击。
2、第一方面,提供一种查询式对抗样本防御方法,包括:
3、确定目标样本的概率分布,并根据所述概率分布中的第一大值第二大值,计算所述目标样本的概率分布差异值;其中,所述第二大值仅小于或等于所述第一大值;
4、计算正常样本概率分布集中正常样本与所述目标样本之间的相似度;其中,所述正常样本与所述目标样本所属类别相同;
5、根据所述概率分布差异值和所述相似度,确定所述目标样本的检测结果。
6、本申请实施例中,由于,首先确定目标样本的概率分布,并根据概率分布中的第一大值和第二最大值,计算目标样本的概率分布差异值;计算正常样本概率分布集中正常样本与目标样本之间的相似度;根据概率分布差异值和相似度,综合确定目标样本的检测结果;因此,在检测目标样本过程中,采用这种多维度的综合判定方式能够有效评估目标样本的威胁程度,来有效识别该目标样本中潜在的对抗样本,从而以此为依据有效防御对抗样本,避免对抗样本对检测结果输出的影响,以提高了检测结果的准确性。
7、在一些实施例中,所述根据所述概率分布差异值和所述相似度,确定所述目标样本的检测结果,包括:
8、确定是否所述概率分布差异值小于第一阈值,且所述相似度小于第二阈值;
9、若是,则基于所述概率分布差异值、所述相似度,计算待引入的高斯噪声,并基于所述高斯噪声和所述目标样本的概率分布,确定所述目标样本的检测结果;
10、若否,则基于所述目标样本的概率分布,确定所述目标样本的检测结果。
11、在一些实施例中,所述基于所述高斯噪声和所述目标样本的概率分布,确定所述目标样本的检测结果,包括:
12、将所述高斯噪声与所述目标样本的概率分布做加法运算,得到所述目标样本的目标概率分布;
13、对所述目标概率分布进行归一化处理,并将处理后的目标概率分布中的最大值对应的样本类别作为所述目标样本的检测结果。
14、在一些实施例中,所述高斯噪声满足以下表达式:
15、δ=σ·dkl(pthreshold-pdiff)
16、其中,所述σ表征设定的超参数,所述pthreshold表征所述第一阈值,所述pdiff表征所述概率分布差异值,所述dkl表征所述相似度。
17、在一些实施例中,所述确定目标样本的概率分布之前,还包括:
18、基于神经网络,对至少一类别的正常样本进行前向传播,得到所述至少一类别的正常样本的正常样本特征;
19、将各正常样本特征输入到所述神经网络中的softmax层进行特征提取,得到所述正常样本概率分布集。
20、在一些实施例中,所述相似度满足以下表达式:
21、
22、其中,所述pi表征所述目标样本在第i类别的的概率分布,所述qi表征所述正常样本集在所述第i类别的概率分布。
23、第二方面,提供一种查询式对抗样本防御装置,包括:
24、分布差异计算模块,用于确定目标样本的概率分布,并根据所述概率分布中的第一大值和第二大值,计算所述目标样本的概率分布差异值;其中,所述第二大值仅小于或等于所述第一大值;
25、相似计算模块,用于计算正常样本概率分布集中正常样本与所述目标样本之间的相似度;其中,所述正常样本与所述目标样本所属类别相同;
26、检测模块,用于根据所述概率分布差异值和所述相似度,确定所述目标样本的检测结果。
27、在一些实施例中,所述检测模块,具体用于:
28、确定是否所述概率分布差异值小于第一阈值,且所述相似度小于第二阈值;若是,则基于所述概率分布差异值、所述相似度,计算待引入的高斯噪声,并基于所述高斯噪声和所述目标样本的概率分布,确定所述目标样本的检测结果;
29、若否,则基于所述目标样本的概率分布,确定所述目标样本的检测结果。
30、在一些实施例中,所述检测模块,具体用于:
31、将所述高斯噪声与所述目标样本的概率分布做加法运算,得到所述目标样本的目标概率分布;
32、对所述目标概率分布进行归一化处理,并将处理后的目标概率分布中的最大值对应的样本类别作为所述目标样本的检测结果。
33、在一些实施例中,所述高斯噪声满足以下表达式:
34、δ=σ·dkl(pthreshold-pdiff)
35、其中,所述σ表征设定的超参数,所述pthreshold表征所述第一阈值,所述pdiff表征所述概率分布差异值,所述dkl表征所述相似度。
36、在一些实施例中,所述装置还包括构建模块;
37、所述构建模块用于基于神经网络,对至少一类别的正常样本进行前向传播,得到所述至少一类别的正常样本的正常样本特征;将各正常样本特征输入到所述神经网络中的softmax层进行特征提取,得到所述正常样本概率分布集。
38、在一些实施例中,所述相似度满足以下表达式:
39、
40、其中,所述pi表征所述目标样本在第i个类别的概率值,所述qi表征所述正常样本在第i个类别的概率值。
41、第三方面,提供一种电子设备,包括:
42、存储器,用于存放计算机程序;处理器,用于执行所述存储器上所存放的计算机程序时,实现第一方面中任一项所述的方法。
43、第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
44、上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明,这里不再重复赘述。
1.一种查询式对抗样本防御方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,所述根据所述概率分布差异值和所述相似度,确定所述目标样本的检测结果,包括:
3.如权利要求2所述的方法,其特征在于,所述基于所述高斯噪声和所述目标样本的概率分布,确定所述目标样本的检测结果,包括:
4.如权利要求2所述的方法,其特征在于,所述高斯噪声满足以下表达式:
5.如权利要求1所述的方法,其特征在于,所述确定目标样本的概率分布之前,还包括:
6.如权利要求1-5任一项所述的方法,其特征在于,所述相似度满足以下表达式:
7.一种查询式对抗样本防御装置,其特征在于,所述装置包括:
8.如权利要求7所述的装置,其特征在于,所述检测模块,具体用于:
9.如权利要求8所述的装置,其特征在于,所述检测模块具体用于:
10.如权利要求8所述的装置,其特征在于,所述高斯噪声满足以下表达式:
11.如权利要求7所述的装置,其特征在于,所述装置还包括构建模块;
12.如权利要求7-11任一项所述的装置,其特征在于,所述相似度满足以下表达式:
13.一种电子设备,其特征在于,包括:
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法。
