本发明涉及合成孔径雷达图像检测方法领域,具体是一种基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法。
背景技术:
1、遥感变化检测旨在对同一地区或场景不同时刻影像进行处理和分析以获取该地区地物变化信息与属性,进而反演影像间隔时间内的地理事件。而由于合成孔径雷达(synthetic aperture radar,sar)传感器采用主动式微波成像模式,可不受光照、天气等环境条件的影响,具备全天时、全天候的观测能力,因而成为变化检测领域的热点研究对象,相关研究结果可为城市规划,灾后损害评估,军事侦察等实际应用提供重要的技术支持。
2、依据是否使用人工标注的真实样本数据,可将sar图像变化检测算法划分为有监督的方法和无监督的方法两大类。其中,无监督变化检测算法无需先验信息,直接对sar图像进行特征提取或属性变换,并依据所提取的特征完成变化信息的检测。而有监督变化检测算法则需要利用大量带标注的样本数据对分类器进行训练,而后依据训练完备的分类器对sar图像进行处理,获得变化检测结果。两类方法具有各自的优缺点,在变化检测领域均得到了广泛的研究和应用。
3、具体来说,无监督变化检测算法研究主要围绕着两个方面:差异图生成和差异图分析。其中,差异图生成主要是通过预设的运算规则对两时刻sar图像的特征信息的差异进行度量,获得能够反映真实地物变化的差异图像。常见的方法有差值法、比值法、对数比法、均值比法以及图结构匹配法等。而差异图分析则是对变化度量后生成的差异图进行处理并将其划分为变化区域和非变化区域,获得最终的变化检测图像,其本质上是对差异图进行二值分类。常见方法有阈值法、模糊聚类法、水平集分割法以及图割法等。例如文献(wangj,zhao t,jiang x,et al.a hierarchical heterogeneous graph for unsupervisedsar image change detection[j].ieee geoscience and remote sensing letters,2022,19:1-5.)中,wang等人提出了一种层次异构图结构,可联合利用超像素的区域相似度和像素的异质局部相似度信息,并通过匹配双时图结构的方式获得边界清晰、可分性好的差异图,最后使用图割算法获得较为精确的变化检测结果。然而由于sar图像固有的散斑噪声的影响,无监督变化检测算法常存在变化边界难定位、细小区域难识别等问题。
4、基于深度学习的有监督变化检测算法以带有标注的样本数据为驱动,通过模拟输入数据的分布,从样本中学习到深层次的图像特征。而训练好的深度神经网络能够有效提取sar图像中的空间、光谱以及纹理等信息,提升对变化区域的判别能力,完成变化信息的精确检测。例如文献(wang r,wang l,wei x,et al.dynamic graph-level neuralnetwork for sar image change detection[j].ieee geoscience and remote sensingletters,2021,19:1-5.)中,wang等人提出一种端到端的动态图神经网络,其为sar图像中的每个像素点构建局部图结构,通过逐层图结构更新以及信息汇聚来深度挖掘局部邻域信息,以图级分类的形式完成变化检测任务。授权公告号cn 110263845b,题为“基于半监督对抗深度网络的sar图像变化检测方法”的中国专利,公开了一种将生成对抗gan网络用于sar图像的监督变化检测的方法,其以少量带真实标签的样本数据为驱动,结合sar图像及扩展差异图的信息对网络进行对抗训练和协同训练,增强了模型在不具有充足标准样本情况下的泛化能力。以深度学习模型为核心的变化检测方法在具有充足样本数据以及模型训练充分的情况下,往往能够获得比无监督检测算法更准确的变化检测结果。然而,大量的手动样本标注耗时耗力,限制了其在实践中的应用。
5、本发明提供了一种基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,其优势在于设计了一种基于全局块相似性的图模型,该模型以图像块为顶点,在全图像范围内搜索并连接相似图像块,进而建立具有长程关系描述能力的图结构;在此结构基础上,设立复合图注意力机制,其中先验注意力依据自相似理论建立,旨在提升相似块间的关注度,而图注意力则根据图中节点或边的特征动态地调整对其他节点的关注程度,从而实现对图数据中重要信息的有效捕获和利用。此外,本发明还提供了一种无监督样本生成与扩展策略,通过层次聚类获得了置信度高的伪标签数据,并与伪标签对应顶点的一阶邻域图结构的节点特征矩阵和权重矩阵进行配对,共同组建高质量的训练样本集。通过样本生成策略以及复合图注意力机制的应用,本发明方法能够在无监督模式下有效提取关于图像变化的判别性特征,进而具有较高的变化检测精度。
技术实现思路
1、本发明提供了一种基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,以解决现有技术用于sar图像的变化检测方法存在的检测结果精度不足的问题。
2、为了达到上述目的,本发明所采用的技术方案为:
3、基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,包括以下步骤:
4、步骤1、选取两幅采集于相同地理场景不同时刻的合成孔径雷达影像,从中得到两时相的待变化检测sar图像x1和x2。
5、步骤2、对步骤1所得的待变化检测sar图像x1和x2进行对数均值比运算,生成对数均值比差异图。
6、步骤3、使用层次模糊c均值聚类算法对步骤2所得的对数均值比差异图进行三分类处理,获得变化类像素点,非变化类像素点以及不确定类像素点。
7、步骤4、将图像上的像素点视为全局图的顶点,根据顶点对应的局部图像块在全局范围内选取k个与其最相似的顶点进行连接,构建全局图。分别在待变化检测sar图像x1和x2以及步骤2所得的对数均值比差异图上构建全局图。
8、步骤5、从步骤3中所得的差异图三分类结果图中的变化类像素点及非变化类像素点中选取部分作为伪标签。提取样本对应顶点在步骤4所得的不同全局图中的一阶邻域图结构的信息,组建训练集和测试集数据。
9、步骤6、构建复合图注意力神经网络进行训练,网络结构为:输入层→信息汇聚层→全连接层→输出层。信息汇聚层由三个彼此独立的信息汇聚模块组成。输入层为归一化处理后的步骤5中所得的训练样本集。
10、步骤7、使用训练完成的复合图注意力神经网络对步骤5中所得的测试样本集进行预测,从而获得最终的变化检测结果。
11、进一步的,步骤1还包括:对选取的合成孔径雷达影像进行辐射校正、几何校正以及几何配准等预处理,然后从中得到两时相的待变化检测sar图像x1和x2。
12、进一步的步骤2中,为步骤1中所得的待变化检测的sar图像x1和x2的每个像素点求取局部块均值,并结合对数比算子生成所述对数均值比差异图。
13、进一步的步骤5中,从步骤3中所得的差异图三分类结果图的变化类像素点及非变化类像素点中分别随机选取相同数量的像素点作为伪标签,选取数量为两类中所含像素点数目较少的那一类的像素点总数的25-35%。
14、进一步的步骤5中,样本对应顶点的一阶邻域图结构的信息由提取的节点特征矩阵和权重矩阵表征。
15、进一步的,分别在步骤4所得的不同全局图中提取样本对应顶点的一阶邻域图结构的节点特征矩阵和权重矩阵,与相应伪标签配对组建训练样本集。
16、进一步的,为差异图三分类结果图中的所有像素点提取不同全局图中对应顶点的一阶邻域图结构的节点特征矩阵和权重矩阵,组建测试样本集。
17、进一步的步骤6中,信息汇聚层由三个彼此独立的信息汇聚模块组成,每个模块对应样本不同的一阶邻域图结构,模块根据输入的一阶邻域图结构的节点特征矩阵和权重矩阵,基于复合图注意力机制进行图卷积操作。
18、进一步的,复合图注意力机制由顶点间的先验注意力权重和图注意力权重两部分组成,能够引导模型更多地关注和利用益于变化度量和分析的特征信息。
19、进一步的,信息汇聚层的输出为样本对应顶点在不同一阶邻域图结构上完成信息汇聚后的输出特征。
20、进一步的步骤6中,全连接层用于从信息汇聚层的输出特征中进一步提取用于分类的变化信息特征。
21、进一步的步骤6中,将变化信息特征通过输出层,得到网络预测的当前样本的变化和未变化的概率。
22、进一步的,步骤6中依据交叉熵损失及反向传播原则对神经网络的参数进行更新,训练过程中使用adam算法优化网络参数。
23、进一步的,步骤7中根据复合图注意力神经网络对测试集样本的预测类别的概率得到最终变化检测结果。
24、与现有技术相比,本发明的有益效果为:
25、1)本发明使用层次模糊c均值聚类算法将对数均值比差异图进行了三分类处理,获得变化区域,非变化区域以及不确定区域。从置信度高的变化区域及非变化区域中选取一定数量的像素点作为标签,与其对应顶点在全局图中的一阶邻域图结构的节点特征矩阵和权重矩阵配对,共同组建高质量的训练样本集,提高了后续模型的变化检测精度和能力。
26、2)本发明分别在两时相sar图像以及对数均值比差异图上构建基于全局块相似性的图结构。以图像块为顶点,在全图像范围内搜索并连接相似图像块,进而建立具有长程关系描述能力的图结构。该图结构能对像素点的上下文依赖性和所在区域的整体特征进行考量,进而更好地识别异常值和噪声点。
27、3)本发明使用复合图注意力神经网络进行训练和预测。该机制由先验注意力权重和图注意力权重两部分组成。先验注意力权重依据自相似理论建立,旨在提升相似块间的关注度,而图注意力则根据图中节点或边的特征动态地调整对其他节点的关注程度,从而实现对图数据中重要信息的有效捕获和利用,提高检测的针对性和抗散斑噪声能力。
1.基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,其特征在于,步骤1还包括:对选取的两幅采集于相同地理场景不同时刻的合成孔径雷达影像进行辐射校正、几何校正以及几何配准等预处理,然后从中得到两时相的待变化检测sar图像x1和x2。
3.根据权利要求1所述的基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,其特征在于,步骤2中,为步骤1中所得的待变化检测sar图像x1和x2的每个像素点求取局部块均值,并结合对数比算子生成所述对数均值比差异图。
4.根据权利要求1所述的基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,其特征在于,步骤5中,从步骤3中所得的差异图三分类结果图中的变化类像素点及非变化类像素点中分别随机选取相同数量的像素点作为伪标签,选取数量为两类中所含像素点数目较少的那一类的像素点总数的25-35%。
5.根据权利要求1所述的基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,其特征在于,步骤5中,样本对应顶点的一阶邻域图结构的信息由提取的节点特征矩阵和权重矩阵表征。分别在步骤4所得的不同全局图中提取样本对应顶点的一阶邻域图结构的节点特征矩阵和权重矩阵,与相应伪标签配对组建训练样本集。同时为差异图三分类结果图中的所有像素点提取不同全局图中对应顶点的一阶邻域图结构的节点特征矩阵和权重矩阵,组建测试样本集。
6.根据权利要求1所述的基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,其特征在于,步骤6所述的,复合图注意力神经网络的构建和训练具体通过以下方式实现:
7.根据权利要求1所述的基于复合图注意力机制的无监督合成孔径雷达图像变化检测方法,其特征在于,步骤7中,将步骤5所得的测试样本集送入训练完成的神经网络中进行预测,根据预测类别的概率得到最终变化检测结果。