本发明属于遥感图像智能处理,尤其涉及一种基于多层协作网络的细粒度雾天遥感图像检测方法。
背景技术:
1、当代遥感技术的快速发展,为日常生活和军事应用提供了丰富的高分辨率遥感图像。在海洋应用中,精准的船舶定位和跟踪对于海上安全和救援至关重要。在军事应用中,有效的船舶定位能辅助进行情报收集和情报分析。船舶目标检测是实现这些应用的基础和前提,因此在遥感图像处理领域中备受关注。相比合成孔径雷达(synthetic apertureradar;sar)图像,光学图像具有更加丰富的纹理信息和更为清晰的结构,能够提供更多观测场景的细节信息,这使得利用可见光遥感图像进行船舶目标检测成为一个重要的研究方向。尽管光学遥感图像在实际应用中面临着许多挑战,例如天气变化和海浪的干扰等,但是通过利用先进的图像处理技术,如卷积神经网络(convolutional neural networks;cnn)和多尺度特征提取,以及数据增强和迁移学习等方法,已经可以取得相当不错的检测性能。因此,光学遥感舰船目标检测领域具有理论上的可行性和实际应用价值,其研究将有助于进一步提高遥感图像处理的能力,促进船舶定位和跟踪技术的发展。
2、目标检测技术在海洋环境监测和控制中扮演着重要的角色,然而在复杂的海况下,图像的对比度降低等因素导致传统目标检测模型的性能下降,检测模型在训练和测试中的数据分布不同,导致模型在不同数据分布中表现不佳。在海洋环境监测中,输入图像中的域偏移会导致大量细节丢失,从而影响目标检测模型的性能。现有的目标检测方法在正常海况下对舰船的检测表现良好,但在复杂海况条件下无法获得令人满意的结果。
3、目前对于复杂条件下的传统舰船检测主要有两种方法,第一类方法是基于背景建模的舰船检测方法,这一类方法相对简单、实时性强,目标检出率也比较高。但是这一类方法一方面对静止目标检测效果比较差,另一方面会出现比如伪影、阴影前景和运动目标不完整等问题。第二类算法是基于手工提取特征的舰船检测方法,这类方法可解释性强,在简单背景条件下能做出快速检测,但这一类方法同样存在识别效果不够好,准确率不够高;计算量大,运算速度慢;可能产生多个识别结果等问题。
4、尽管深度学习的方法已经广泛应用于目标检测,但是针对复杂条件下的快速舰船检测还未进行深度探究,复杂条件舰船检测仍面临重大挑战。一个简单的思路是把这项任务拆分成图像增强预处理和目标检测两个任务,分别对这两个任务进行研究。对于图像增强任务,传统的算法需要依赖于研究人员较强的先验知识,以及对退化过程中参数的一系列假设估计,在某些极端条件下表现很差。基于深度学习的方法进行增强则依赖大量成对图像作为数据源进行训练,实际情况中往往难以获得这些数据,一些恢复后的图像有明显伪影。将恢复后的图像送入检测网络的性能在一定程度上取决于增强网络的性能,对于需要的检测结果而言增加了不确定性。另外,两阶段的方式也会增加算法的复杂度,导致检测效率降低。基于上述原因,研究人员把多任务学习的概念引入到深度学习中,采用更为复杂的网络来学习共同的特征表达,然后再在共同特征上各个任务单独学习各自的输出。这一类方法提高数据使用效率、通过共享表征减轻过拟合、以及通过利用辅助任务加速学习。但是不可避免的会出现负面迁移或破坏性干扰,不同任务之间的性能会相互约束。因此,如何设计一个高性能的复杂条件舰船检测网络仍是亟需解决的问题。
技术实现思路
1、针对复杂条件现有技术舰船目标检测方法存在的技术缺陷:①复杂条件下舰船数据集难以获取,真实场景数据有限;②传统的检测网络在复杂条件下性能表现不佳;③针对现有复杂条件舰船检测网络结构复杂,运算量大,效率较低等问题,本发明的目的在于克服上述现有技术缺陷,提出了一种基于多层协作网络的细粒度遥感图像检测方法,实现对复杂条件下对舰船目标的端到端检测,并在保证精度的同时降低网络的复杂度。
2、为了实现上述目的,本发明提出了一种基于多层协作网络的细粒度雾天遥感图像检测方法,包括:
3、将待检测雾天遥感可见光图像输入预先建立和训练好的检测模型,输出舰船检测结果,从而实现端到端的细粒度目标检测;
4、所述检测模型包括:主干网络、颈部结构和多检测头模块;其中,
5、所述主干网络,基于多层协作,采用多用卷积核,用于压缩检测模型体积的同时恢复图像的退化效应;
6、所述颈部结构采用特征金字塔网络和金字塔注意力网络,并引入注意力机制,用于对多尺度特征图进行级联处理,并关注图像细粒度差异,提升类别识别精度;
7、所述多检测头模块,用于输出不同分辨率的特征图,提升对目标的感知能力。
8、优选的,所述主干网络包括:复用卷积、3个堆叠的block模块、pca注意力模块、2个cbl模块和线性整流函数,所述主干网络的处理过程为:输入的待检测雾天遥感可见光图像,依次经过复用卷积和3个block模块得到特征图p0、p1、p2和p3,p1、p2和p3经拼接操作、注意力模块和2个cbl模块后,与p0经过cbl模块后逐像素相加,再经线性整流函数后输出特征图。
9、优选的,所述block模块包括:复用卷积、线性整流函数,pca注意力模块和残差连接。
10、优选的,所述cbl模块包括级联的卷积、归一化操作和线性整流函数。
11、优选的,所述特征金字塔网络的处理包括:从顶层开始,使用上采样的方式将低分辨率的特征逐步与底层特征相加,将底层特征图的低分辨率特征与顶层特征图的高语义信息进行融合。
12、优选的,所述金字塔注意力网络的处理过程包括:通过卷积操作,从低维度向高维度再传递一次语义信息,和特征金字塔网络对应的层融合,实现在不同层次之间实现信息交互。
13、优选的,所述引入注意力机制包括平均池化层和4个卷积层,其中,第一卷积层和第二卷积层之间连接线性整流函数输出特征图第二卷积层和第三卷积层之间连接sigmoid激活函数输出特征图输入与之间连接multiply函数得到特征图第三卷积层和第四卷积层之间连接线性整流函数输出特征图第四卷积层之后连接sigmoid激活函数输出特征图和之间连接multiply函数。
14、优选的,所述多检测头模块包括4个检测头,输出4个特征图,通过非极大值抑制技术对合并后的检测结果进行过滤和整理。
15、优选的,所述方法还包括检测模型的训练步骤,包括:
16、基于物理模型构建退化图像舰船检测数据集;
17、根据调制传递函数得到点扩散函数,由点扩散函数仿真得到雾天图像,形成包括薄雾、中雾和浓雾的训练集;
18、将训练集依次输入检测模型进行训练,调参,直至满足训练要求,得到训练好的检测模型。
19、优选的,总损失函数lloss为:
20、lloss=αk(αboxlciou+αobjlobj+αclslcls)
21、其中,αk为输出特征图的权重系数,αbox、αobj、αcls分别为平衡目标定位损失、目标置信度损失和目标分类损失的权值,lciou为目标定位损失用ciou损失表示:
22、
23、其中,b和bgt分别表示预测框和真实框,表示两框中心点欧式距离的平方与两框最小闭包区域对角线距离的平方之比,iou为预测框和真实框的重叠比,v为预测框和真实框长宽比例差值归一化;
24、lobj为目标置信度损失用二元交叉熵损失表示:
25、lobj(p0,piou)=-∑[piou·log p0+(1-piou)·log(1-p0)]
26、其中,p0表示预测框置信度分数,piou表示预测框与对应目标框的ciou值;
27、lcls为目标分类损失用交叉熵损失表示:
28、
29、其中,pi∈{0,1}表示第i类的真实值,属于第i类为1,不属于为0,表示当前类别预测的概率。
30、与现有技术相比,本发明的优势在于:
31、1、利用大气调制传递函数进行仿真,进而由点扩散函数构建雾天船舶数据集;
32、2、设计多层协作网络作为目标检测主干网络并引入多检测头;
33、3、主干中采用多用卷积核,在不影响精度的条件下把模型体积和计算量都进行了压缩;
34、4、整个网络直接实现端到端的有雾条件下的细粒度目标检测。
1.一种基于多层协作网络的细粒度雾天遥感图像检测方法,包括:
2.根据权利要求1所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,所述主干网络包括:复用卷积、3个堆叠的block模块、pca注意力模块、2个cbl模块和线性整流函数,所述主干网络的处理过程为:输入的待检测雾天遥感可见光图像,依次经过复用卷积和3个block模块得到特征图p0、p1、p2和p3,p1、p2和p3经拼接操作、注意力模块和2个cbl模块后,与p0经过cbl模块后逐像素相加,再经线性整流函数后输出特征图。
3.根据权利要求2所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,所述block模块包括:复用卷积、线性整流函数,pca注意力模块和残差连接。
4.根据权利要求2所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,所述cbl模块包括级联的卷积、归一化操作和线性整流函数。
5.根据权利要求1所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,所述特征金字塔网络的处理包括:从顶层开始,使用上采样的方式将低分辨率的特征逐步与底层特征相加,将底层特征图的低分辨率特征与顶层特征图的高语义信息进行融合。
6.根据权利要求5所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,所述金字塔注意力网络的处理过程包括:通过卷积操作,从低维度向高维度再传递一次语义信息,和特征金字塔网络对应的层融合,实现在不同层次之间实现信息交互。
7.根据权利要求6所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,所述引入注意力机制包括平均池化层和4个卷积层,其中,第一卷积层和第二卷积层之间连接线性整流函数输出特征图第二卷积层和第三卷积层之间连接sigmoid激活函数输出特征图输入与之间连接multiply函数得到特征图第三卷积层和第四卷积层之间连接线性整流函数输出特征图第四卷积层之后连接sigmoid激活函数输出特征图和之间连接multiply函数。
8.根据权利要求1所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,所述多检测头模块包括4个检测头,输出4个特征图,通过非极大值抑制技术对合并后的检测结果进行过滤和整理。
9.根据权利要求1所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,所述方法还包括检测模型的训练步骤,包括:
10.根据权利要求9所述的基于多层协作网络的细粒度雾天遥感图像检测方法,其特征在于,总损失函数lloss为:
