本发明涉及遥感数据处理,特别涉及一种融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法及系统。
背景技术:
1、建筑物提取是遥感影像智能解译中最重要的、最受关注的应用之一。精确、及时的建筑物空间分布数据对于加快现代化进程、违章建筑物检测和可持续发展具有重要意义。近年来,随着遥感技术的飞速发展,多时相、多分辨率、多平台的观测数据获取能力得到了极大的提升,这为获取建筑物信息提供了重要的数据源。其中,超高空间分辨率(vhr)遥感影像(地面采样距离(gsd)≤1m)提供了丰富的空间细节,展现了更精细的建筑物空间分布。但由于vhr影像的光谱有限性、易变性问题,使得从vhr遥感影像中精确提取建筑物极具挑战性。
2、现有的vhr遥感影像建筑物提取方法大致可分为两类:传统方法和基于深度学习的方法。传统方法通常需要人工选择和计算特征,如基于遥感影像的光谱、纹理和几何特征,再利用分类器分割出建筑物和非建筑物区域。但传统方法对高频图像信号(如边缘和纹理)过于敏感,导致在vhr影像中提取建筑物时出现严重的“椒盐噪声”现象。为了提高传统方法在vhr影像上提取建筑物的精度,面向对象的建筑物提取方法被提出。以图像分割对象作为建筑物识别的基本分析单元,可以充分利用对象的上下文信息,突出vhr影像的纹理和空间特征。然而,面向对象的方法依赖于图像分割效果,尤其是在复杂环境中,分割后的对象难以准确刻画物体的几何轮廓。此外,上述方法无法自动提取高层级的语义特征,限制了建筑物提取性能。
3、随着深度学习技术的迅猛发展,特别是全卷积神经网络(fcn)被提出并成功应用于建筑物提取后,基于深度学习的建筑物提取研究成为热点。fcn对图像进行像素级分类,从而解决了语义级别的图像分割问题。全卷积神经网络主要由编码器、解码器和分类头构成。编码器不断对输入影像进行卷积、池化操作以提取高层级语义特征,解码器则是通过反卷积模块逐渐恢复原始图像的空间尺寸,最后经分类头获取建筑物提取结果。随后基于深度学习方法出现了unet、deeplabv3、densenet、segnet、hrnet等改进的卷积神经网络版本,而近期提出的transformer也被成功应用于建筑物提取,且被证明比卷积神经网络具备更出色的全局特征提前能力。上述基于深度学习的建筑物提取方法与传统方法相比具有更强的学习能力和泛化能力。
4、目前,vhr遥感影像建筑物提取领域仍存在一个重大挑战,即由于遮挡和边界模糊问题,提取的建筑物边界与实际建筑物边界的一致性较低。近期,一些研究从不同角度提出了解决这一问题的方法。例如,zhou等利用图推理模块解决类内不连续性问题,然后嵌入方向信息进行建筑物边界校正。这种方法可以实现精细的建筑物分割,但在阴影和树木遮挡严重的情况下会受到限制。ding等设计了一种基于生成对抗网络的建筑物形状优化器,以增强对建筑物形状信息的学习。dong等将区域线特征融合与基于对象的卷积神经网络相结合,以提高提取的建筑边界与真实边界的一致性。这些方法在检测城市中规则的大型建筑时在一定程度上提高了提取结果的几何精度,但对于小尺度建筑的形状约束仍然不足。当前,基于深度学习的vhr影像建筑物提取方法主要存在以下缺点:1、对复杂场景下的小型建筑提取的相关研究欠缺,在复杂的农村和郊区场景中的小型密集建筑的提取结果中存在严重漏检;2、提取的建筑物边界与建筑物实际边界的吻合度较低,特别是对于小型建筑物的形状约束仍然不足,造成建筑物提取的几何精度降低;3、基于监督深度学习的建筑提取算法需使用大量有标注样本进行训练。由于每个建筑物实例的特异性及其周围环境的复杂多变性,建筑提取模型的性能在很大程度上依赖于样本的质量和丰富度。然而,人工标注大量样本费时费力,这是限制基于监督深度学习的建筑提取算法实际应用的主要因素。
技术实现思路
1、为此,本发明提供一种融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法及系统,解决现有模型对于小型建筑物特征提取能力和形状模式的学习能力的不足,改善复杂场景下小型建筑物的提取效果。
2、按照本发明所提供的设计方案,一方面,提供一种融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,包含:
3、获取遥感影像样本数据中的第一样本数据集和第二样本数据集,所述第一样本数据集为标注有建筑物标签的遥感影像数据,所述第二样本数据集为未标注建筑物标签的遥感影像数据;
4、构建建筑物识别模型,并利用第一样本数据集和第二样本数据集对建筑物识别模型进行训练,得到训练后的建筑物目标模型,所述建筑物识别模型包括由主编码器和辅助编码器构成的双异构特征编码器、解码器、区域分类头和边界分类头,且区域分类头和边界分类头共享编码器和解码器,主编码器和辅助编码器采用不同类型的骨干网络;
5、将待检测遥感影像输入至建筑物目标模型中,利用建筑物目标模型提取待检测遥感影像中的建筑物;
6、其中,建筑物识别模型训练中,首先,利用第一样本数据集对建筑物识别模型进行初次训练,然后,将第二样本数据集输入至初次训练后的建筑物识别模型中,得到第二样本数据集中的实例伪标签;将实例伪标签和对应的第二样本数据集及第一样本数据集相结合作为模型再次训练的输入数据,利用该输入数据对建筑物识别模型进行再次训练,得到建筑物目标模型。
7、作为本发明融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,进一步地,所述辅助编码器为由unet构建的四阶段编码器,编码器每个阶段包含两个卷积层和一个最大池化层,利用编码器的四个阶段对输入影像连续执行卷积和最大池化操作,以获取四个层次的语义特征。
8、作为本发明融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,进一步地,所述主编码器包含一个分割嵌入单元和四个biformer单元,且在每个biformer单元中,先使用卷积隐式编码相对位置,在使用双层路由注意机制和双层感知机制模拟交叉位置关系和嵌入位置。
9、作为本发明融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,进一步地,所述区域分类头和边界分类头均由一个卷积核和一个sigmoid激活函数构成。
10、作为本发明融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,进一步地,建筑物识别模型训练过程,还包含:
11、构建建筑边界优化器,将建筑边界优化器和由边界分类头构成的建筑边界提取分支形成对抗学习过程,以在模型训练中利用建筑边界优化器引导建筑边界提取分支生成与真实边界相似的建筑物边界。
12、作为本发明融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,进一步地,建筑物识别模型训练损失函数表示为:其中,分别为建筑物区域损失、建筑物边界损失和边界优化器损失。
13、作为本发明融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,进一步地,将实例伪标签和对应的第二样本数据集及第一样本数据集相结合,包含:
14、依据区域分类头生成的第二样本数据集影像中各像素处的实例伪标签概率值计算实例伪标签中每个像素的信息熵;
15、利用预设阈值并基于每个像素的信息熵筛选可靠伪标签,并依据真实标签与可靠伪标签两者连通域获取每个建筑物实例的空间范围及实例伪标签中属于建筑物像素的百分比;
16、依据建筑物像素在影像中的占比对实例伪标签进行筛选,并基于建筑物实例的空间范围将有标签的建筑物实例随机转移至伪标签实例中。
17、再一方面,本发明还提供一种融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取系统,包含:样本获取模块、模型训练模块和目标识别模块,其中,
18、样本获取模块,用于获取遥感影像样本数据中的第一样本数据集和第二样本数据集,所述第一样本数据集为标注有建筑物标签的遥感影像数据,所述第二样本数据集为未标注建筑物标签的遥感影像数据;
19、模型训练模块,用于构建建筑物识别模型,并利用第一样本数据集和第二样本数据集对建筑物识别模型进行训练,得到训练后的建筑物目标模型,所述建筑物识别模型包括由主编码器和辅助编码器构成的双异构特征编码器、解码器、区域分类头和边界分类头,且区域分类头和边界分类头共享编码器和解码器,主编码器和辅助编码器采用不同类型的骨干网络;
20、目标识别模块,用于将待检测遥感影像输入至建筑物目标模型中,利用建筑物目标模型提取待检测遥感影像中的建筑物;
21、其中,模型训练模块中的建筑物识别模型训练工程包括:首先,利用第一样本数据集对建筑物识别模型进行初次训练,然后,将第二样本数据集输入至初次训练后的建筑物识别模型中,得到第二样本数据集中的实例伪标签;将实例伪标签和对应的第二样本数据集及第一样本数据集相结合作为模型再次训练的输入数据,利用该输入数据对建筑物识别模型进行再次训练,得到建筑物目标模型。
22、本发明的有益效果:
23、本发明联合主流的卷积神经网络和transformer骨干网络构建高效特征编码器,并基于多任务学习和对抗学习提升对于建筑物形状模式的感知能力,有效降低小型建筑物漏检现象,提升建筑物提取结果的几何精度。其中,双异构特征编码器将现有的主流骨干网络耦合,在预训练权重基础上,通过少量的目标域样本对模型进行微调,即可取得较佳的建筑物提取性能。在很大程度上提升了模型训练效率,降低了模型对于目标域数据集质量和数量的依赖度。此外,双异构特征编码器采用全连接特征融合方式,这既充分利用vhr遥感影像中丰富、精细的纹理、几何等局部特征,又兼顾全局语义特征的表征能力,有效提升小型建筑物的提取精度。通过嵌入建筑物边缘检测辅助分支和基于对抗学习的边界优化器,提升模型对于小型建筑物形状模式的感知能力。相比于已有的方法,边缘检测分支和建筑物提取分支共享编、解码器,这降低模型的训练参数量,降低训练过程中的计算消耗。而基于对抗学习的边界优化器,考虑小型建筑物的特殊性,采用浅层的卷积网络架构防止小型建筑物的特征损失,并添加注意力模块抑制无关信息,对于小型建筑物形状模式的学习更有效。为降低监督深度学习方法的数据集构建成本,基于自训练范式和建筑物实例随机转移的伪样本生成策略,通过计算伪标签信息熵来筛选可靠的伪标签,避免因伪标签质量低而造成模型训练时梯度消失或爆炸现象;并进一步通过转移有真实标签的建筑物实例至建筑物占比较低二点伪标签中,平衡正负样本比例,丰富样本背景,在遥感数据处理技术领域具有较好的应用前景。
1.一种融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,其特征在于,包含:
2.根据权利要求1所述的融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,其特征在于,所述辅助编码器为由unet构建的四阶段编码器,编码器每个阶段包含两个卷积层和一个最大池化层,利用编码器的四个阶段对输入影像连续执行卷积和最大池化操作,以获取四个层次的语义特征。
3.根据权利要求1所述的融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,其特征在于,所述主编码器包含一个分割嵌入单元和四个biformer单元,且在每个biformer单元中,先使用卷积隐式编码相对位置,在使用双层路由注意机制和双层感知机制模拟交叉位置关系和嵌入位置。
4.根据权利要求1所述的融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,其特征在于,所述区域分类头和边界分类头均由一个卷积核和一个sigmoid激活函数构成。
5.根据权利要求1所述的融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,其特征在于,建筑物识别模型训练过程,还包含:
6.根据权利要求5所述的融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,其特征在于,建筑物识别模型训练损失函数表示为:其中,分别为建筑物区域损失、建筑物边界损失和边界优化器损失。
7.根据权利要求1所述的融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取方法,其特征在于,将实例伪标签和对应的第二样本数据集及第一样本数据集相结合,包含:
8.一种融合局部特征感知和边界约束的高分辨率遥感影像小建筑物提取系统,其特征在于,包含:样本获取模块、模型训练模块和目标识别模块,其中,
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当计算机程序被执行时,能够实现如权利要求1~7任一项所述的方法。