本发明涉及海上船舶目标检测识别领域,特别是涉及一种基于虚实数据混合学习的不均衡海上船舶目标检测方法、系统、介质及产品。
背景技术:
1、在复杂的海洋环境中,使用摄像头等设备对海上环境进行视觉感知时,可以提高目标发现的效率并减少探测过程中的人工参与,从而降低人员和设备的风险,提高船舶航行过程中的安全性。当前实现智能船舶鲁棒视觉感知的方法需要大量类别均衡的海上船舶目标标注数据作为训练集,以此供模型充分学习。然而,在现实场景收集海上船舶目标感知样本数据的过程中,由于各类目标的实际数量不同、出现概率不同以及可观测距离不同,导致收集的数据中不同类别的样本数量存在不均衡现象。并且,由于各种条件的限制,在一些任务场景下实现目标样本数据均衡采样的代价十分昂贵并且可能无法实现。当训练数据存在类别不均衡分布问题时,目标分类与检测模型在学习后的泛化性能会严重不足,无法保证其在应用时的鲁棒性。因此,实现数据类别不均衡分布条件下的模型的有效虚实数据混合学习是保证智能船舶鲁棒视觉感知的基础。
2、而现有的方法使用生成对抗网络对单个域的数据进行域多样化处理,从单个域生成多个相似的域,通过减小所有域之间的偏差为学习目标进行训练。但数据转换方式过于复杂,无法保证数据的有效性。tia是从目标检测识别任务中定位和分类子任务出发,引入不同任务空间将域对齐,实现模型的多维度域特征对齐。
3、tia在无监督域自适应目标检测的框架下,引入多组辅助的分类器和定位器,通过在原始特征对齐的基础上将分类器和定位器的输出分布对齐实现更好的域自适应效果。
4、在不均衡现实域与均衡虚拟域数据的混合学习任务中,基于辅助任务对齐的域自适应目标检测方法tia具备一定的现实域目标检测能力,在虚拟域数据与现实域数据存在一定的相似性的情况下,可以进行域迁移学习,但在现实域上仅基于无监督学习方式难以实现训练模型对现实域目标的有效检测识别。
5、由于目标检测的模型结构以及训练方法与目标分类存在差异,现有解决类别不均衡目标分类的模型训练策略无法直接应用于目标检测模型的学习,因此,在目标检测识别任务下保证现实域与虚拟域的数据有效混合学习,通过虚拟域的多样性数据提升模型在现实域的性能,以此提高模型在不均衡现实域的性能,为智能船舶视觉感知系统性能的提升提供研究基础,保障航行过程中海洋环境探测信息的可靠性。同时数据不均衡问题在当前许多研究领域共同存在,面向训练数据类别不均衡条件下的模型鲁棒学习研究具备一定的通用性,有较高的实际应用价值。
技术实现思路
1、本发明的目的是提供一种基于虚实数据混合学习的不均衡海上船舶目标检测方法、系统、介质及产品,可克服引入虚拟均衡数据进行虚实数据混合学习时,目标检测模型在学习过程中,图像全局特征与目标实例特征均存在域偏移问题,以及在不同域间类别分布不一致导致的特征对齐难问题。
2、为实现上述目的,本发明提供了如下方案:
3、一种基于虚实数据混合学习的不均衡海上船舶目标检测方法包括:
4、获取类别不均衡分布的现实域海上船舶目标分类训练数据集和类别均衡分布的虚拟域海上船舶目标分类训练数据集;
5、基于类别均衡分布的虚拟域海上船舶目标分类训练数据集和类别不均衡分布的现实域海上船舶目标分类训练数据集构建损失函数;
6、基于类别均衡分布的虚拟域海上船舶目标分类训练数据集以损失函数最小为目的对神经网络模型进行训练,得到目标检测模型;所述目标检测模型用于对海上照片进行分类;
7、获取待分类的海上图像;
8、将待分类的海上图像输入至目标检测模型中,得到待分类的海上图像的检测结果;所述检测结果包括海上图像中目标物体的类别。
9、一种计算机系统,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法。
10、一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法。
11、一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法。
12、根据本发明提供的具体实施例,本发明公开了以下技术效果:
13、本发明公开一种基于虚实数据混合学习的不均衡海上船舶目标检测方法、系统、介质及产品,方法包括获取类别不均衡分布的现实域海上船舶目标分类训练数据集和类别均衡分布的虚拟域海上船舶目标分类训练数据集;基于类别均衡分布的虚拟域海上船舶目标分类训练数据集和类别不均衡分布的现实域海上船舶目标分类训练数据集构建损失函数;基于类别均衡分布的虚拟域海上船舶目标分类训练数据集以损失函数最小为目的对神经网络模型进行训练,得到目标检测模型;所述目标检测模型用于对海上照片进行分类;获取待分类的海上图像;将待分类的海上图像输入至目标检测模型中,得到待分类的海上图像的检测结果,本发明克服引入虚拟均衡数据进行虚实数据混合学习时,目标检测模型在学习过程中,图像全局特征与目标实例特征均存在域偏移问题,以及在不同域间类别分布不一致导致的特征对齐难问题。
1.一种基于虚实数据混合学习的不均衡海上船舶目标检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法,其特征在于,所述海上船舶目标类别包括散货船、帆船、邮轮、集装箱船和岛屿。
3.根据权利要求1所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法,其特征在于,获取类别不均衡分布的现实域海上船舶目标分类训练数据集和类别均衡分布的虚拟域海上船舶目标分类训练数据集,具体包括:
4.根据权利要求1所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法,其特征在于,基于类别均衡分布的虚拟域海上船舶目标分类训练数据集和类别不均衡分布的现实域海上船舶目标分类训练数据集构建损失函数,具体包括:
5.根据权利要求4所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法,其特征在于,所述散度为:
6.根据权利要求4所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法,其特征在于,所述图像级特征对齐损失为:
7.根据权利要求4所述的基于虚实数据混合学习的不均衡海上船舶目标检测方法,其特征在于,所述损失函数为:
8.一种计算机系统,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述基于虚实数据混合学习的不均衡海上船舶目标检测方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-7中任一项所述基于虚实数据混合学习的不均衡海上船舶目标检测方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-7中任一项所述基于虚实数据混合学习的不均衡海上船舶目标检测方法。
