本发明涉及安检,尤其涉及一种基于轻量化的毫米波雷达隐匿违禁物品检测方法。
背景技术:
1、目前的主动式毫米波安检仪是在技术走向成熟阶段,基于其通过毫米波雷达成像的目标轮廓及纹理特征来辨别违禁物品的原理局限,事实是难以分辨违禁物品的材质,比如金属/陶瓷/塑料材质的刀,比如携带酒精或水。
2、现实际应用是通过安检仪之外附加金属及液体检测的安检步骤,需要多次安检才能完全不同材质的违禁物品检测,检测效率低。
技术实现思路
1、本发明的目的在于提供一种基于轻量化的毫米波雷达隐匿违禁物品检测方法。
2、本发明采用的技术方案是:
3、一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其包括以下步骤:
4、步骤1,获取无源毫米波安检图像数据组成数据集,将数据集进行图像预处理后按照设定比例划为训练集、验证集、测试集;
5、步骤2,利用训练集、验证集和测试集训练改进的yolov8模型,以得到训练好的yolov8模型;改进的yolov8模型使用fasternet中的fasterblock替换标准yolov8模型c2f中的bottleneck,并在替换后的c2f中加入基于跨空间学习的高效多尺度注意力机制(ema注意力机制)用以更好提取图像特征;利用基于bifpn和特征融合策略改进的neck网络,即使用复杂视觉任务处理技术替换yolov8原有的neck网络结构并将neck网络中的concat替换为特征融合模块,用层级和列来选择所采用的特征融合方法;通过head网络以使用卷积层来预测目标的类别、位置和置信度;输出使用测试集得到的违禁物品检测结果;
6、步骤3,将待测的无源毫米波(pmmw)安检图像数据输入训练好的yolov8模型,得到最终的检测结果。
7、进一步地,步骤1图像预处理包括调整尺寸、归一化和数据增强;调整尺寸为通过图像缩放或裁剪将输入图像调整到固定大小(如640x640);归一化为按照各通道的均值和标准差进行归一化将像素值映射到[0,1]范围;数据增强为通过随机裁剪、旋转、翻转对训练数据进行增强,提高模型的泛化能力;设定比例为8:1:1。
8、进一步地,步骤2中每个fasternetblock均有一个pconv层,pconv层后设有两个逐点卷积(pwconv)层,pconv层和两个pwconv层显示为倒置的残差块,其中中间层具有扩展数量的通道,并放置快捷连接以重用输入特征。
9、具体地,将pwconv附加到pconv后能够有效地利用来自所有通道的信息。
10、进一步地,步骤2中ema注意力机制由3条分支组成;分支1是原始特征图进行通道数上压缩与其他分支信息进行融合;分支2借鉴ca注意力机制,对特征图从高度和宽度两个方向进行全局平均池化;分支3则使用3×3卷积操作来对特征图进行处理,有效地捕获跨维度交互并与其他分支建立不同维度间的联系。
11、为提高计算效率,ema注意力机制采用二维平均池化的方式,如式(1-1)所示,
12、
13、其中,h和w表示特征图的高度和宽度,xc表示不同通道的特征张量。
14、具体地,ema注意力机制的三个分支整合了通道注意力和空间注意力的优点,同时捕获全局的通道依赖性和局部的空间特征,在通道和空间维度之间获取更加全面特征信息。通过ema注意力机制对特征信息进行一次筛选,可以将含有更多目标特征信息融合到骨干网络,进一步加强全局上下文信息的联系,提升模型的识别能力。
15、进一步地,步骤2中bifpn使用的是快速归一化融合,直接用权值除以所有权值的和来进行归一化,同时将权值归一化到[0,1]之间,提高了计算速度,o的计算公式如下:
16、
17、其中,o表示为输入ii对应的学习权重,wi和wj分别表示两个输入特征图融合时各自的权重,用激活函数relu来确保wi≥0;ii表示表示从网络中提取的特征图或中间特征图;i,j表示输入特征图的特定层级;
18、具体地,bifpn的网络结构首先删除对整体特征网络贡献较小的单输入节点以此简化网络;然后在处于同一级别的原始输入和输出节点之间添加一条额外的边,在不增加太多成本的情况下融合更多的特征;最后将双向路径(自上而下和自下而上)视为一个特征网络层,并在同一层重复多次,以实现更高层次的特征融合。
19、进一步地,步骤2在训练过程中,利用训练集的数据对模型进行参数优化和特征学习,同时通过验证集的评估指标来调整模型的超参数,以提升模型在未知数据上的预测效果;经过多轮迭代的训练和验证,以优化模型。
20、进一步地,步骤2中在训练过程中的每个周期结束后进行网络整体损失计算和循环迭代,直到验证集的map指标达到稳定后,停止改进的yolov8模型的网络训练;行网络整体损失包括定位损失、分类损失和置信度损失的加权和,基于网络整体损失指导模型的整体优化;定位损失为衡量预测框与真实框之间的差异;分类损失为衡量预测类别概率与真实类别标签之间的差异,通常使用交叉熵损失;置信度损失为衡量预测框是否包含目标的置信度误差。
21、具体地,固定轮数(epochs):设置一个固定的训练轮数(epochs),达到此轮数后停止训练。本发明设定训练100个epochs。
22、早停机制(early stopping):在训练过程中监控验证集上的性能指标(如验证损失或验证精度)。如果在若干连续的epochs中,验证性能没有显著提升,则提前停止训练。早停机制可以防止过拟合,确保模型在验证集上表现最佳。map指标在后续设定轮次训练中增长不超过设定阈值(即不再显著增长)时判定map指标稳定。设定轮次为100轮。
23、本发明采用以上技术方案,具有如下技术特点:(1)针对毫米波安检实际的应用需要极高的实时性实现了一种适合毫米波图像检测的轻量化技术,该技术通过使用fasterblock替换yolov8骨干部分的c2f中的bottleneck,可以有效降低参数量,提高模型的运行速度。(2)通过在yolov8骨干部分替换为fasterblock的c2f中加入跨空间学习的高效多尺度注意力机制的特征处理技术能够更有效的让违禁品特征信息融合到特征融合的网络中,实现了对毫米波安检成像人体区域灰度差异小、成像较模糊所导致的目标定位困难问题的有效解决。(3)针对毫米波安检目标检测时需要同时理解和分析高层语义信息和低层空间细节的任务,故使用复杂视觉任务处理技术替换yolov8原有的neck网络结构并将neck中的concat替换为特征融合模块,用层级和列来选择所采用的特征融合方法。该技术通过特征融合策略和加权双向特征金字塔网络捕捉不同尺度下的特征细节,从而提高目标检测的鲁棒性和准确率。(4)结合yolov8、基于fasterblock的轻量化技术、基于在fasterblock中加入跨空间学习的高效多尺度注意力机制的特征处理技术、基于特征融合策略和加权双向特征金字塔网络的复杂视觉任务处理技术实现了对毫米波安检图像违禁物品的高精度,轻量化的目标检测。
1.一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:其包括以下步骤:
2.根据权利要求1所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:步骤1图像预处理包括调整尺寸、归一化和数据增强;调整尺寸为通过图像缩放或裁剪将输入图像调整到固定大小;归一化为按照各通道的均值和标准差进行归一化将像素值映射到[0,1]范围;数据增强为通过随机裁剪、旋转、翻转对训练数据进行增强,提高模型的泛化能力;设定比例为8:1:1。
3.根据权利要求1所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:步骤2中每个fasternetblock均有一个pconv层,pconv层后设有两个pwconv层,pconv层和两个pwconv层显示为倒置的残差块,其中中间层具有扩展数量的通道,并放置快捷连接以重用输入特征。
4.根据权利要求1所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:步骤2中ema注意力机制由3条分支组成;分支1是原始特征图进行通道数上压缩与其他分支信息进行融合;分支2借鉴ca注意力机制,对特征图从高度和宽度两个方向进行全局平均池化;分支3则使用3×3卷积操作来对特征图进行处理,有效地捕获跨维度交互并与其他分支建立不同维度间的联系。
5.根据权利要求4所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:ema注意力机制采用二维平均池化的方式,如式(1-1)所示,
6.根据权利要求1所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:步骤2中bifpn使用的是快速归一化融合,直接用权值除以所有权值的和来进行归一化,同时将权值归一化到[0,1]之间,提高了计算速度,o的计算公式如下:
7.根据权利要求1所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:bifpn的网络结构为:删除对整体特征网络贡献较小的单输入节点以此简化网络;然后在处于同一级别的原始输入和输出节点之间添加一条额外的边,在不增加太多成本的情况下融合更多的特征;最后将自上而下和自下而上的双向路径视为一个特征网络层,并在同一层重复多次,以实现更高层次的特征融合。
8.根据权利要求1所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:步骤2在训练过程中,利用训练集的数据对模型进行参数优化和特征学习,同时通过验证集的评估指标来调整模型的超参数,以提升模型在未知数据上的预测效果;经过多轮迭代的训练和验证,以优化模型。
9.根据权利要求1所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:步骤2中在训练过程中的每个周期结束后进行网络整体损失计算和循环迭代,直到验证集的map指标达到稳定后,停止改进的yolov8模型的网络训练;行网络整体损失包括定位损失、分类损失和置信度损失的加权和,基于网络整体损失指导模型的整体优化;定位损失为衡量预测框与真实框之间的差异;分类损失为衡量预测类别概率与真实类别标签之间的差异,通常使用交叉熵损失;置信度损失为衡量预测框是否包含目标的置信度误差。
10.根据权利要求1所述的一种基于轻量化的毫米波雷达隐匿违禁物品检测方法,其特征在于:map指标在后续设定轮次训练中增长不超过设定阈值时判定map指标稳定。