本发明涉及计算机视觉技术和无人机目标跟踪,具体为一种基于改进的transt算法的单目标跟踪无人机方法。
背景技术:
1、随着无人机技术发展,无人机广泛应用于商业以及其他领域,例如:航拍、应急响应和农业规划等。但是无人机发展也带来一系列的管理问题,针对日趋严峻的无人机威胁,建立限制地区周边反无人机系统已经刻不容缓,非法无人机跟踪作为反无人机系统中重要组成部分,成为研究者广泛关注的课题。
2、现有的无人机目标跟踪手段主要包括生成式跟踪算法和判别式跟踪算法。根据时间轴和基本原理的不同,视觉对象跟踪技术可以分为三个阶段,即1998年至2014年的传统跟踪算法阶段,2010年前后的基于相关滤波的跟踪算法阶段,以及2016年以后的基于深度学习的目标跟踪算法阶段。传统的跟踪方法包括光流法、均值漂移法、卡尔曼滤波和粒子滤波、稀疏表示等,随着时间的推移,跟踪速度和精度更好的相关滤波和深度学习方法逐渐成为主流。
3、虽然无人机跟踪技术已经取得了长足的进步,但现有的跟踪方法在兼顾跟踪精度、模型尺寸和跟踪速度方面仍然存在问题。而transt系列跟踪网络很好的解决了这些问题,该系列模型目前已经迭代了多个版本,无论是在跟踪精度还是速度方面都有着非常出色的表现,transt系列型号已广泛应用于工业、遥感、交通、医学等领域。
技术实现思路
1、本发明目的在于解决上述现有技术的问题,提出了一种基于改进的transt算法的单目标跟踪无人机方法。
2、本发明采用的具体技术方案如下:
3、一种基于改进的transt算法的单目标跟踪无人机方法,包括以下步骤:
4、步骤1:数据集预处理:将无人机仅占据每个图像的不到1%区域的tib-net数据集按7:3的比例分为训练集和测试集,并将训练集进行数据增强;
5、步骤2:构建模型:构建基于改进的transt的微小无人机目标跟踪模型transt-drone,首先,在transt基础上重新设计了跟踪头以专门用于微小无人机的目标跟踪;其次,在特征提取阶段使用spd-conv代替conv,增强模型对于小目标的特征提取能力;最后,在多尺度特征融合阶段引入了gam注意力机制,以提高模型跟踪无人机的整体性能;
6、步骤3:训练模型:设定合适的实验训练参数,将步骤1中的训练集进行数据增强以后输入模型进行训练,将训练完成的transt-drone模型部署到服务器中;
7、步骤4:测试模型:在测试集上,采用多种评价指标对transt-drone模型进行评估。
8、进一步的,所述步骤1中的tib-net数据集包含2850张不同类型无人机的图像,采集图像的分辨率为1920*1080像素,为了提高模型对环境的适应能力,本方案采用多种数据增强手段,对数据集进行了扩充和增强。
9、进一步的,步骤2包括以下子步骤:
10、步骤2-1:在跟踪头部分,增加高分辨率跟踪头,增加的跟踪头是针对底层特征的,是通过低水平、高分辨率的特征图生成的,该跟踪头对微小目标更加敏感,改善对于微小目标的跟踪能力;对于跟踪小尺寸无人机目标,transt大目标跟踪层属于冗余层,因此,本发明裁掉transt网络结构中的大目标预测层以及相关特征提取和特征融合层,只保留4倍下采样、8倍下采样和16倍下采样的特征图进行无人机的预测,有效减少了网络参数量,提高无人机跟踪速度;
11、步骤2-2:在transt中,特征提取模块conv即为跨步卷积层,在图像分辨率较低或跟踪对象较小的任务中,它的跟踪性能会迅速下降。为此,本发明在特征提取阶段引入了一个新的cnn构建块,称为spd-conv,以取代跨步卷积层。spd-conv是由空间到深度(spd)层和非跨步卷积(conv)层组成,可以应用于大多数cnn架构。在特征提取阶段使用spd-conv代替conv提取多尺度特征,减少细粒度信息的丢失,增强模型对于小目标的特征提取能力;
12、步骤2-3:小目标尺寸较小、特征少且不明显,本发明在多尺度特征融合阶段引入了gam注意力机制,通过减少信息丢失和放大全局交互表示来增强模型对于小目标特征的保留能力,同时直接改善颈部网络部分的特征融合,以提高模型跟踪无人机的整体性能。
13、进一步的,构建的transt-drone模型在训练时对训练集进行权重参数优化,优化方式采用梯度下降法,改进后的transt的损失函数与transt是一致的,均包括矩形框损失(lossbox)、分布焦点损失(lossdfl)和分类损失(losscls)。
14、loss=a·lossbox+b·lossdfl+c·losscls
15、其中,a、b、c均表示相应损失函数在总损失函数中的权重占比,本方案三者权重分别为a=7.5,b=1.5,c=0.5。
16、进一步的,步骤3将数据增强后的训练集无人机图像输入到新构建的transt-drone模型中,首先在backbone部分进行多尺度特征提取,然后将提取出的特征传入到neck部分,经过特征金字塔网络(fpn)和路径聚合网络(pan)进行多尺度特征融合,最后跟踪层用来预测无人机的目标位置、类别和置信度信息等。多次训练进行权重参数更新,最终将训练完成的transt-drone模型部署到服务器中。
17、进一步的,步骤3中在训练数据集上最大训练次数epoch为150,前3个epoch用于热身训练,并采用sdg优化策略进行学习率调整,初始学习率设置为0.01,训练过程中batchsize设置为8。在训练阶段,考虑到样本图像中包含大量微小目标,为使跟踪过程兼顾实时性和准确性的要求,将图像尺寸统一调整为640×640。这样的尺寸可以使模型真正可部署到边缘设备,而不会破坏图像的太多有用信息。
18、进一步的,步骤4中使用测试集输入到transt-drone模型中,并采用多个评价指标来评估模型每个部分改进的效果,以验证本发明的有效性和实用性。
19、进一步的,步骤4中的评价指标包括精确率(precision,p)、召回率(recall,r)、平均精度(average precision,ap)、平均精度均值(mean average precision,map)、参数量、模型大小、每秒跟踪的图片数量(fps)。
20、采用上述方案,本发明的有益效果包括以下几点:
21、1.在sota模型transt上进行改进,提出了一种性能优良、泛化性强的微小无人机目标跟踪模型。
22、2.针对无人机目标尺寸较小的特点,在跟踪头部分增加高分辨率跟踪分支,增强模型对于微小目标的跟踪能力;同时裁剪掉跟踪头中对于大目标预测层以及相关特征提取、融合层,减少大量网络冗余,降低模型参数量。
23、3.改进多尺度特征提取,使用spd-conv代替conv提取多尺度特征,更好的保留微小目标的特征,减少无人机漏检的概率。并在多尺度融合模块引入了gam注意力机制,增强模型对于目标特征的融合,减少网络误检的概率,spd-conv和gam共同增强了模型对于微小目标的跟踪能力。
24、4.通过消融实验验证了所改进模型的可行性和有效性。与原基准网络相比,该模型在公开数据集tib-net上的p、r、map性能分别提高了11.9%、15.2%、9%,参数数量和模型大小分别减少了59.9%、58%,综合能力显著提升。
1.一种基于改进transt算法的单目标跟踪无人机方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于改进transt的微小无人机目标跟踪方法,其特征在于,所述步骤1的tib-net数据集包含2850张不同类型无人机的图像,采集图像的分辨率为1920*1080像素,为了提高模型对环境的适应能力,本方案采用多种数据增强手段,对数据集进行了扩充和增强。
3.根据权利要求1所述的一种基于改进transt的微小无人机目标跟踪方法,其特征在于,所述步骤2包括以下子步骤:
4.根据权利要求3所述的一种基于改进transt的微小无人机目标跟踪方法,其特征在于,所述的构成transt-drone模型在训练时对训练集进行权重参数优化,优化方式采用梯度下降法,改进后的transt的损失函数与transt是一致的,均包括矩形框损失(lossbox)、分布焦点损失(lossdfl)和分类损失(losscls)。
5.根据权利要求1所述的一种基于改进transt的微小无人机目标跟踪方法,其特征在于,所述步骤3将数据增强后的训练集无人机图像输入到新构建的transt-drone模型中,首先在backbone部分进行多尺度特征提取,然后将提取出的特征传入到neck部分,经过特征金字塔网络(fpn)和路径聚合网络(pan)进行多尺度特征融合,最后跟踪层用来预测无人机的目标位置、类别和置信度信息等。多次训练进行权重参数更新,最终将训练完成的transt-drone模型部署到服务器中。
6.根据权利要求1所述的一种基于改进的transt的微小无人机目标跟踪方法,其特征在于,所述步骤3在训练数据集上最大训练次数epoch为150,前3个epoch用于热身训练,并采用sdg优化策略进行学习率调整,初始学习率设置为0.01,训练过程中batch size设置为8。在训练阶段,考虑到样本图像中包含大量微小目标,为使跟踪过程兼顾实时性和准确性的要求,将图像尺寸统一调整为640×640。这样的尺寸可以使模型真正可部署到边缘设备,而不会破坏图像的太多有用信息。
7.根据权利要求1所述的一种基于改进的transt的微小无人机目标跟踪方法,其特征在于,所述步骤4使用测试集输入到transt-drone模型中,并采用多个评价指标来评估模型每个部分改进的效果,以验证本发明的有效性和实用性。
8.根据权利要求1所述的一种基于改进的transt的微小无人机目标跟踪方法,其特征在于,所述步骤4中的评价指标包括精确率(precision,p)、召回率(recall,r)、平均精度(average precision,ap)、平均精度均值(mean average precision,map)、参数量、模型大小、每秒跟踪的图片数量(fps)。
