本申请涉及计算机视觉,特别是涉及一种基于对抗网络的路面分割模型的训练方法及装置。
背景技术:
1、高速公路路面分割识别算法是一种关键技术,对于提升道路维护效率、确保交通安全、降低管理成本以及推动智能交通系统的发展具有重大意义,高速公路路面分割识别算法能够自动化的检测路面裂缝、坑洼等损坏情况,为道路维护团队提供及时的修复信息,从而避免潜在的交通事故并延长前路使用寿命,此外,使用高速公路路面分割识别算法还减少了人工巡查的需求,显著提高了检测效率并降低了人力成本,在智能交通系统的构建中,路面分割识别算法提供了交通流量监控和车辆行为分析所需的基础数据,同时为自动驾驶车辆的环境理解能力提供了支持,确保了自动驾驶的安全性。该算法的高环境适应性使其在不同光照和天气条件下均能稳定工作,为道路资产管理系统提供了可靠的数据支持,帮助管理者制定科学的维护计划和预算,随着技术的进步,路面分割识别算法不仅适用于高速公路,还能扩展到城市和乡村道路,具有广泛的跨领域应用潜力。它还有助于交通管理部门更好地遵守和执行有关道路维护和安全的标准和法规。总之,这一算法是实现道路基础设施智能化管理、增强交通安全和促进智能交通系统发展不可或缺的技术手段。
2、但是,常规的高速公路路面分割识别算法通常需要大量的训练数据集,特别是对于密集预测任务如语义分割等,需要像素级的注释,这既昂贵又耗时,在视频场景中尤为苛刻,所以现有技术一般会选择合成数据以及相应的注释,但是源域合成数据与目标域真实数据之间存在照明、天气和相机参数等不稳定因素等域差异,对抗网络模型可以将知识标记的源域数据转移到未标记的目标域环境从而减少源域和目标域之间的域差异,但是对抗网络的任务大多是特定的,只能单独针对图像样本或视频样本进行训练,在实际应用中并不能泛化到彼此从而需要重新进行优化或硬件上的更新。
3、综上所述,亟需一种不需要大量的训练样本也可以进行准确路面分割的方法。
技术实现思路
1、本申请实施例提供了一种基于对抗网络的路面分割模型的训练方法及装置,基于像素特征的比对来选择与当前场景相同类型的图像,并基于对抗网络自适应的获取相应的后续训练样本从而达到无需改变网络架构也能提高分割准确度的效果。
2、第一方面,本申请实施例提供了一种基于对抗网络的路面分割模型的训练方法,所述方法包括:
3、获取标记有路面信息的路面视频作为源域数据,获取无标记的路面视频作为目标域数据;
4、构建包括特征提取网络以及对抗网络的路面分割架构,其中所述特征提取网络用于对源域数据、目标域数据进行特征提取得到源域像素特征以及目标域像素特征,所述对抗网络包括学生网络以及教师网络,所述教师网络以源域像素特征为训练样本进行训练得到并用于路面分割,将所述目标域像素特征输入到教师网络中生成伪标签,所述伪标签为教师网络对目标域数据进行路面分割的结果;
5、所述学生网络以目标域像素特征为训练样本,并基于伪标签与所述教师网络进行对抗学习得到分类头,在对抗学习中,若输入到学生网络的当前训练样本为静态场景,则在所述目标域像素特征中选取与当前训练样本相似度高的图像作为后续训练样本,若输入到学生网络的当前训练样本为动态场景,则在所述目标域像素特征中选取与当前训练样本时间连续性高的相似图像作为后续训练样本,所述后续训练样本为本轮迭代训练中要使用的下一个训练样本,所述静态场景为无车辆通行的场景,所述动态场景为有车辆通行的场景,将所述特征提取网络以及分类头进行组合得到训练好的路面分割模型。
6、第二方面,本申请实施例提供了一种基于对抗网络的路面分割模型的训练装置,包括:
7、获取模块,用于获取标记有路面信息的路面视频作为源域数据,获取无标记的路面视频作为目标域数据;
8、构建模块,用于构建包括特征提取网络以及对抗网络的路面分割架构,其中所述特征提取网络用于对源域数据、目标域数据进行特征提取得到源域像素特征以及目标域像素特征,所述对抗网络包括学生网络以及教师网络,所述教师网络以源域像素特征为训练样本进行训练得到并用于路面分割,将所述目标域像素特征输入到教师网络中生成伪标签,所述伪标签为教师网络对目标域数据进行路面分割的结果;
9、对抗学习模块,所述学生网络以目标域像素特征为训练样本,并基于伪标签与所述教师网络进行对抗学习得到分类头,在对抗学习中,若输入到学生网络的当前训练样本为静态场景,则在所述目标域像素特征中选取与当前训练样本相似度高的图像作为后续训练样本,若输入到学生网络的当前训练样本为动态场景,则在所述目标域像素特征中选取与当前训练样本时间连续性高的相似图像作为后续训练样本,所述后续训练样本为本轮迭代训练中要使用的下一个训练样本,所述静态场景为无车辆通行的场景,所述动态场景为有车辆通行的场景,将所述特征提取网络以及分类头进行组合得到训练好的路面分割模型。
10、第三方面, 本申请实施例提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行一种基于对抗网络的路面分割模型的训练方法。
11、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序包括用于控制过程以执行过程的程序代码,所述过程包括一种基于对抗网络的路面分割模型的训练方法。
12、本发明的主要贡献和创新点如下:
13、本申请实施例通过构建包括学生网络以及教师网络的对抗网络架构来对学生网络进行训练,使其可以在无需大量训练样本标注的情况下就可以进行准确的路面检测;本方案在对抗学习的过程中通过构建时间对比损失来保证视频序列中的时间连续性,通过比较视频序列中相邻帧或关键帧与参考帧之间的像素级特征,时间对比损失有助于学习跨帧的一致性表示,从而更好地捕捉视频中的运动信息和物体的动态变化;本方案通过构建图像块损失来增强局部区域内特征的一致性,并且通过在局部区域内进行对比学习,块级对比损失有助于模型学习到更加丰富的上下文信息;本方案根据当前训练样本在场景上的不同并基于像素特征的比对来选择与当前场景相同类型的图像进行训练,保证了模型在不同场景下一路面分割准确率。
14、本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
1.一种基于对抗网络的路面分割模型的训练方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于对抗网络的路面分割模型的训练方法,其特征在于,为所述特征提取网络构建特征提取损失,所述特征提取损失包括源域损失和目标域损失,所述源域损失的公式表示如下:
3.根据权利要求2所述的一种基于对抗网络的路面分割模型的训练方法,其特征在于,所述特征提取损失还包括像素对比损失,所述像素对比损失的公式表示如下:
4.根据权利要求1所述的一种基于对抗网络的路面分割模型的训练方法,其特征在于,在对抗学习中,将学生网络的当前训练样本作为当前帧,从历史数据中选取任一图像作为比较帧,并基于当前帧与每一比较帧之间的余弦相似度构建时间对比损失函数,公式表示如下:
5.根据权利要求1所述的一种基于对抗网络的路面分割模型的训练方法,其特征在于,在对抗学习中,在学生网络的当前训练样本中裁剪第一图像块和第二图像块,且第一图像块与第二图像块的重叠部分为同一路面,基于第一图像块与第二图像块的余弦相似度构建图像块损失函数,公式表示如下:
6.根据权利要求1所述的一种基于对抗网络的路面分割模型的训练方法,其特征在于,若所述当前训练样本为静态场景,则获取当前训练样本的像素特征,并在目标域中选取与当前训练样本的像素特征相似度高的训练样本作为后续训练样本。
7.根据权利要求1所述的一种基于对抗网络的路面分割模型的训练方法,其特征在于,若所述当前训练样本为动态场景,则获取当前训练样本的像素特征,并在目标域中选取与当前训练样本在相邻时间内的像素特征相似度高的训练样本作为后续训练样本。
8.一种基于对抗网络的路面分割模型的训练装置,其特征在于,包括:
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1-7任一所述的一种基于对抗网络的路面分割模型的训练方法。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序包括用于控制过程以执行过程的程序代码,所述过程包括根据权利要求1-7任一所述的一种基于对抗网络的路面分割模型的训练方法。