一种基于半监督的无人机航空图像分割方法

    技术2025-05-14  17


    本发明涉及深度学习中的半监督语义分割领域,针对无人机航空图像的分割技术。


    背景技术:

    1、对无人机航空图像进行手动标注是一个时间和劳力密集型的过程,尤其是当图像分辨率很高、覆盖的地理区域广泛时。半监督学习能够利用大量未标注的图像,这些图像易于获取但难以标注,从而显著降低标注成本。并且在实际应用中,无人机航空图像的场景和背景可能会有很大变化,仅依靠少量标注数据可能导致模型过拟合,泛化能力不足。半监督学习通过引入未标注数据,在提高模型准确性的同时也增强了模型对新场景的适应能力。半监督学习能够利用未标注数据中的数据分布信息,帮助模型更好地理解数据的底层结构。这对于复杂的航空图像尤为重要,因为这些图像通常包含丰富的地理特征和复杂的场景,未标注数据的内在分布可以帮助模型更准确地学习这些特征和场景。在无人机航空图像分割中,即使是专家也可能在某些复杂场景下做出错误的标注。半监督学习方法通常具有一定的鲁棒性,能够在一定程度上应对这种标注噪声和不确定性。

    2、cps是一种利用无标签数据进行辅助训练的半监督语义分割方法。该方法的基本思路是将无标签数据与带标签数据进行混合,通过一定的方式生成伪标签数据,并将其与原始带标签数据进行联合训练。该方法利用无标签数据进行训练,可以大幅提高数据利用率,从而降低对大量标注数据的依赖。在模型训练过程中,通过巧妙地融合未标记数据与已标记数据资源,可以生成具有一定可信度的伪标签数据集。这一策略是将未标记数据利用深度学习模型进行预测,并基于预测结果为其赋予临时类别标签。随后,这些带有伪标签的数据被纳入原始已标记数据集之中,共同参与模型的迭代训练过程。这种结合方式能够有效扩充训练样本规模,促使模型从更大范围的数据中学习和提炼特征,从而提升模型在各种情况下的表现力和泛化能力,使其不仅能在已知类别上取得更优的识别效果,同时也能在未知场景下具备更强的适应性和鲁棒性。可以减少对人工干预的依赖,根据不同的数据类型和任务进行调整和优化,减少模型在标注数据上的训练次数,从而提高训练速度和效率。所以,本发明选择在cps的基础上进行优化改进,提高伪标签质量从而实现分割精度的增强。

    3、无人机图像覆盖广泛的地理特征和多变的环境条件,并且由于标注数据量有限,模型容易过拟合到少量的标注样本上。所以本发明通过傅里叶变换、旋转、缩放、裁剪等手段进行数据增强,人为增加图像样本的多样性,扩充训练数据集。使模型更加适应实际应用中的各种复杂情境,提高其鲁棒性。

    4、由于cps方法依赖于高质量的伪标签来指导未标注数据的学习。所以本发明通过改进置信度模块,可以更准确地评估模型对其预测的置信度,从而筛选出高质量的伪标签参与训练,减少错误伪标签的干扰。

    5、在测试阶段,由于各网络对同一张图像的预测结果可能不一致,且各网络在训练后都有一定的价值,因此本发明基于整合的思想,将两个分割网络整合起来对测试图像进行预测,对测试结果有一定的提升。


    技术实现思路

    1、无人机图像覆盖广泛的地理特征和多变的环境条件,并且由于标注数据量有限,模型容易过拟合到少量的标注样本上。所以本发明通过傅里叶变换、旋转、缩放、裁剪等手段进行数据增强,人为增加图像样本的多样性,扩充训练数据集。使模型更加适应实际应用中的各种复杂情境,提高其鲁棒性。由于cps方法依赖于高质量的伪标签来指导未标注数据的学习。所以本发明通过改进置信度模块,可以更准确地评估模型对其预测的置信度,从而筛选出高质量的伪标签参与训练,减少错误伪标签的干扰。在测试阶段,由于各网络对同一张图像的预测结果可能不一致,且各网络在训练后都有一定的价值,因此本发明基于整合的思想,将两个分割网络整合起来对测试图像进行预测,对测试结果有一定的提升。

    2、本发明所采用的技术方案是:

    3、步骤1:选取无人机航空数据集floodnet训练集中的图片进行输入;

    4、步骤2:使用数据增强方法对输入的无人机图像进行傅里叶变换增强;

    5、步骤3:对增强后的图像选用两个初始化不同的u-net网络同时进行分割;

    6、步骤4:对置信度模块进行改进,选用高置信度的标签进行监督训练;

    7、步骤5:综合两个分割网络得到的结果进行预测,共同计算最终的评价指标。

    8、与现有技术相比,本发明的有益效果是:

    9、(1)对于无人机航空图像的半监督分割,能够达到更高的分割查准率;

    10、(2)能够采用更少的带标签数量,减少了标注成本,具有一定的泛化能力。



    技术特征:

    1.一种基于半监督的无人机航空图像分割方法,其特征在于,包括以下步骤:

    2.如权利要求1所述方法,其特征在于,步骤2中的图像增强为随机选取一张图像x在不知道域标号的情况下,从源域提取原始信号作为输入图像,然后进行傅里叶变换f,将图像转换到频域,得到幅度谱ω和相位图p,其中幅度谱包含原始信号的低层统计量,而相位图包含原始信号的高层语义。

    3.如权利要求1所述方法,其特征在于,步骤3中的cps框架里采用改进的置信度模块提高伪标签的质量,进而提高分割的精度。

    4.如权利要求1所述方法,其特征在于,步骤4中的性能测评方法采用定量评估来检验分割方法的性能,同时综合了两个分割网络的预测结果。使用三个性能指标:像素查准率(pa),平均相交于联合(miou),和meanf1得分。


    技术总结
    本发明提出了一种基于半监督的无人机航空图像分割方法。具体而言,该方法的核心创新体现在四个方面,首先是数据增强,采用基于傅里叶变换的策略,该策略通过在频域对图像进行处理,增强了模型对于图像特征的学习能力,尤其是在处理复杂背景和细节信息时的准确性。其次是,置信度优化方面改进了置信度评估方法,以更精确地处理标签不确定性。这一改进有助于模型在训练过程中减少误差传播,确保了使用高置信度标签,从而提升了学习效率和分割质量。再而是双网络预测结构,通过双网络结构的设计,算法能够并行处理图像数据,综合两个网络的预测结果。这种结构不仅提高了模型对图像特征的捕捉能力,也增强了模型在面对不同场景时的泛化能力。最后对损失函数进行了创新设计,以更好地优化模型训练过程。新的损失函数设计针对性强,旨在增强模型对不同尺度、形状目标的分割能力,以及提高前景与背景的区分效果。

    技术研发人员:贾海涛,周昊哲,谭志昊,许文波,唐毅,任利,周焕来
    受保护的技术使用者:电子科技大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-30618.html

    最新回复(0)