本发明主要涉及图像处理相关,具体的是一种用于精确伪装目标检测的显式高阶注意力网络、检测方法。
背景技术:
1、对野生生物来说,伪装至关重要。通过伪装,它们可以顺利地隐藏在周围环境中,以不被捕食者和敌人识别。然而,给从场景中分割出伪装目标——伪装目标检测—一带来了巨大挑战。特别地,边缘分割更具挑战性,因为伪装目标与背景之间的差异非常细微。
2、目前,许多伪装目标检测的方法,都通过注意力机制从单幅图像中分割出伪装目标。这些方法虽然取得了改进效果,但是仍然受制于较低的注意力阶数。根据注意力的阶数,这些方法大多数分为四类,它们分别使用了1阶、2阶、3阶和隐式高阶的注意力。基于一阶注意力的方法通常采用普通技术(如整体注意力和sigmoid函数)来增强伪装物体的特征。基于二阶注意力机制的网络首先计算查询和键的注意力分布图,然后将其输入图推理模块进行特征增强。上述方法中注意力的阶数较低,在捕捉伪装目标和背景之间的细微差异方面较弱。
技术实现思路
1、为解决目前技术的不足,本发明结合现有技术,从实际应用出发,提供一种用于精确伪装目标检测的显式高阶注意力网络、检测方法,以有效检测高度伪装的边缘,并以此为基本单元设计了一个深度网络,以便精确地检测伪装目标。本发明的技术方案如下:
2、根据本发明的一个方面,提供一种用于精确伪装目标检测的显式高阶注意力网络,网络包括高阶语义注意力模块hsa、高阶边界注意力模块hea、高阶反向注意力模块hra、跨层高阶融合模块chf以及作为基础模块的高阶注意力模块eha,
3、网络首先使用视觉注意网络架构产生多个级别的特征,将特征输入到感受野块产生对应的上下文特征,通过跨层高阶融合模块chf与高阶注意力模块eha结合逐步集成上下文特征生成多个增强特征;之后对高层的增强特征通过高阶语义注意力模块hsa粗略定位伪装目标,对低层的增强特征通过高阶边界注意力模块hea预测伪装目标边界,最后在高阶语义注意力模块hsa生成的初始定位图以及高阶边界注意力模块hea预测的边界预测图的指导下,利用高阶反向注意力模块hra挖掘高层增强特征中的干扰项,细化伪装目标,输出分割预测图。
4、进一步,网络首先使用视觉注意网络架构产生四个级别的特征f1、f2、f3、f4,产生对应的上下文特征r1、r2、r3、r4,通过跨层高阶融合模块chf生成的增强特征为e1、e2、e3、e4、e5,对高层的增强特征e3、e4、e5通过高阶语义注意力模块hsa粗略定位伪装目标,对低层的e1、e2增强特征通过高阶边界注意力模块hea预测伪装目标边界,利用高阶反向注意力模块hra挖掘增强特征e3、e4、e5中的干扰项,细化伪装目标。
5、进一步,所述跨层高阶融合模块chf使用5个融合单元chfm,每个融合单元chfm从上到下在不同层次上集成了三个特征输入,其中上下文特征r4、r4、r4在高阶注意力模块eha基础上融合得到增强特征e5,特征r2、r3、e5融合得到特征e4,特征e4和e5连接得到特征e4,5,特征r2、r3、e4,5融合得到特征e3,特征r1、r3、e4,5融合得到特征e2,特征e2、e3、e4,5融合得到特征e1。
6、进一步,对每一个融合单元chfm,如果三个特征输入空间大小不同则进行上采样或下采样,使空间大小相同。
7、进一步,高阶语义注意力模块hsa中,在高阶注意力模块eha基础上,使特征e5融合降采样后的e3和e4,随后进行高阶注意力操作以促进语义特征的表示,最终输出伪装目标初始定位图。
8、进一步,高阶边界注意力模块hea中,特征e1和e2首先通过卷积进行编码,然后合并,送入降采样空间中的高阶注意力模块eha,并通过通道自适应relu进行正则化以生成权重图,该权重图参与特征e1和e2的加权求和,最终输出伪装目标边界预测图。
9、进一步,高阶反向注意力模块hra中,特征e3、e4、e5首先根据上一个阶段的分割预测图指导进入正向和反向分支,然后通过高阶注意力模块eha进行增强以挖掘假阳性和假阴性,最后修正后的特征融合边缘特征以及来自高阶边界注意力模块hea的边缘图特征,得到伪装目标分割预测图。
10、进一步,网络使用的损失函数如下:
11、
12、其中,ledge为伪装目标边界预测图的损失函数,表达式如下:
13、ledge=-∑[eg log(ep)+(1-eg)log(1-ep)]
14、ldet为伪装目标分割预测图的损失函数,表达式如下:
15、
16、上述公式中,eg和ep分别为预测的伪装目标边界图、标注的伪装目标边界图,分别为预测的伪装目标分割图和标注的伪装目标分割图,α=β=1,i=3,4,5是由高阶反向注意力模块hra输出的三个分割预测图,i=6代表高阶语义注意力模块hsa输出的初始定位图。
17、根据本发明的另一方面,提供一种基于上述用于精确伪装目标检测的显式高阶注意力网络的伪装目标检测方法,包括如下步骤:
18、s1、将数据集划分为训练集与测试集,分别对这两个数据集进行预处理;
19、s2、设置epoch、初始学习率相关计算参数;
20、s3、将处理好的训练集送入到已经加载预训练模型的主干网络中,对数据进行编码,生成四个特征f1、f2、f3、f4;
21、s4、将编码后的四个特征f1、f2、f3、f4送入到感受野块,生成上下文特征r1、r2、r3、r4;
22、s5、将感受野块的输出送入到跨层高阶融合模块chf中,实现相邻三个特征的融合,跨层高阶融合模块chf输出增强特征为e1、e2、e3、e4、e5;
23、s6、将跨层高阶融合模块chf输出的三个高层次特征e3、e4、e5送入到高阶语义注意力模块hsa中得到初始定位图;
24、s7、将跨层高阶融合模块chf输出的两个低层次特征e1、e2送入到高阶边界注意力模块hea中,得到边界预测图;
25、s8、在初始定位图与边界预测图指导下,将跨层高阶融合模块chf的三个高层次特征e3、e4、e5送入到高阶反向注意力模块hra中,得到分割预测图;
26、s9、将初始定位图、边界预测图、分割预测图,送入到损失函数中,进行梯度更新;
27、s10、在每一轮epoch结束后,将测试集送入到网络中,依次经过上述步骤得到分割预测图,采用平均绝对误差作为指标,如果指标小于上一个epoch的指标,则保存模型参数。
28、本发明的有益效果:
29、1、由于背景与前景之间存在高度相似性,在一些边界区域,低阶注意力很难检测到这些困难区域。由于本发明的显示高阶注意力网络只利用了最大阶注意力,忽略了低阶注意力,所以本发明的高阶注意力能够更精确地检测到这些区域。
30、2、本发明的网络可以捕获空间元素和通道之间的细微关系,故而网络能更好地检测小型伪装物体。
31、3、本发明的检测方法,能够捕捉伪装目标和背景之间的细微差异,可实现对伪装目标的精准检测。
1.用于精确伪装目标检测的显式高阶注意力网络,其特征在于,网络包括高阶语义注意力模块hsa、高阶边界注意力模块hea、高阶反向注意力模块hra、跨层高阶融合模块chf以及作为基础模块的高阶注意力模块eha,
2.根据权利要求1所述的用于精确伪装目标检测的显式高阶注意力网络,其特征在于,网络首先使用视觉注意网络架构产生四个级别的特征f1、f2、f3、f4,产生对应的上下文特征r1、r2、r3、r4,通过跨层高阶融合模块chf生成的增强特征为e1、e2、e3、e4、e5,对高层的增强特征e3、e4、e5通过高阶语义注意力模块hsa粗略定位伪装目标,对低层的e1、e2增强特征通过高阶边界注意力模块hea预测伪装目标边界,利用高阶反向注意力模块hra挖掘增强特征e3、e4、e5中的干扰项,细化伪装目标。
3.根据权利要求2所述的用于精确伪装目标检测的显式高阶注意力网络,其特征在于,所述跨层高阶融合模块chf使用5个融合单元chfm,每个融合单元chfm从上到下在不同层次上集成了三个特征输入,其中上下文特征r4、r4、r4在高阶注意力模块eha基础上融合得到增强特征e5,特征r2、r3、e5融合得到特征e4,特征e4和e5连接得到特征e4,5,特征r2、r3、e4,5融合得到特征e3,特征r1、r3、e4,5融合得到特征e2,特征e2、e3、e4,5融合得到特征e1。
4.根据权利要求3所述的用于精确伪装目标检测的显式高阶注意力网络,其特征在于,对每一个融合单元chfm,如果三个特征输入空间大小不同则进行上采样或下采样,使空间大小相同。
5.根据权利要求2所述的用于精确伪装目标检测的显式高阶注意力网络,其特征在于,高阶语义注意力模块hsa中,在高阶注意力模块eha基础上,使特征e5融合降采样后的e3和e4,随后进行高阶注意力操作以促进语义特征的表示,最终输出伪装目标初始定位图。
6.根据权利要求2所述的用于精确伪装目标检测的显式高阶注意力网络,其特征在于,高阶边界注意力模块hea中,特征e1和e2首先通过卷积进行编码,然后合并,送入降采样空间中的高阶注意力模块eha,并通过通道自适应relu进行正则化以生成权重图,该权重图参与特征e1和e2的加权求和,最终输出伪装目标边界预测图。
7.根据权利要求2所述的用于精确伪装目标检测的显式高阶注意力网络,其特征在于,高阶反向注意力模块hra中,特征e3、e4、e5首先根据上一个阶段的分割预测图指导进入正向和反向分支,然后通过高阶注意力模块eha进行增强以挖掘假阳性和假阴性,最后修正后的特征融合边缘特征以及来自高阶边界注意力模块hea的边缘图特征,得到伪装目标分割预测图。
8.根据权利要求2所述的用于精确伪装目标检测的显式高阶注意力网络,其特征在于,网络使用的损失函数如下:
9.一种基于权利要求1-8任一项所述用于精确伪装目标检测的显式高阶注意力网络的伪装目标检测方法,其特征在于,包括如下步骤:
