本发明涉及目标检测的，尤其是指一种基于控制模型的雾天目标检测方法。
背景技术：
1、近年来，目标检测作为计算机视觉领域的重要分支，取得了显著进展。随着深度学习技术的不断发展，基于深度学习的目标检测算法在准确性和效率上都得到了显著提升。目前，主流的目标检测算法如yolo、ssd、faster r-cnn等，在各类数据集上表现出色，能够准确识别图像中的多个目标，并给出其精确的位置信息。这些算法不仅适用于静态图像的目标检测，还能够处理视频流中的动态目标，为智能监控、自动驾驶等领域提供了有力支持。
2、但诸如此类的算法仍存在一些缺陷，当所检测的目标与训练数据集没有很大差别时，此时目标检测算法能很好地工作，然而在实际应用中，算法可能经常需要出来与训练数据相比有一定域偏移的数据，例如原数据集是干净清晰的城市图像，而目前需要处理的数据集为雾天条件下的城市图像，此时原模型处理新数据的性能会有所下降，为了维持目标检测算法的性能，通常做法是对模型进行微调，在新的数据集上重新训练。但此类方法有一定缺陷，首先这种方法训练难度较大，需要多次尝试调参才能训练得到满意的模型；其次由于模型参数发生了改变，可能会使模型在面临原域数据集时的性能有所下降。受到基于扩散模型的控制模型的启发，本发明将控制模型进行改进，用于目标检测网络上。面对新数据集时，通过控制网络进行训练而不是对模型进行微调，缩短了训练时间以及难度，同时保持了原模型的参数不变。
3、具体来讲，本发明通过将目标检测模型中的颈部的网络结构复制，加上零卷积层与混合注意力模块在网络中形成另一条链路,同时复制对应层的参数。训练时冻结原模型，使得模型能在保持原参数的情况下在控制网络中学习新的数据集。
技术实现思路
1、本发明的目的在于克服现有技术的不足与缺点，提供了一种基于控制模型的雾天目标检测方法，通过控制网络将模型在新数据集上训练，能够很好地保持原模型的参数，使得在原数据集上的性能不受影响。即控制模型在面对偏移域数据集时，如干净清晰的原训练数据集与雾天模糊的新数据集，能够快速训练得到新模型同时保持模型在原数据集上的性能。
2、为了实现上述目的，本发明提供的技术方案为：基于控制模型的雾天目标检测方法，包括以下步骤：
3、s1、准备两个数据集a与b，数据集a由晴天图片以及其中目标的标注组成，数据集b由雾天图片以及其中目标的标注组成，数据集a与b中的图片不需要一一对应；
4、s2、准备一个卷积神经网络，表示为f:ph×w→y＝{y1,y2,...,yi,...,yn}，其中y表示向量y的集合，通过神经网络f将高度为h、宽度为w的图片p回归为n个六维向量，其中的第i个向量表示为yi＝(cls,conf,x,y,w,h)，其中cls、conf、x、y、w、h分别表示类别、置信度、预测框中心点横坐标、预测框中心点纵坐标、预测框宽度和预测框高度，用数据集a训练神经网络f，得到模型a；
5、s3、将神经网络f的骨干部分复制得到神经网络c，使用零卷积连接层与张量加法将神经网络c的输出部分与神经网络f的颈部相连得到受控的神经网络f`，此时，称神经网络c为控制网络；
6、s4、将数据集b送入神经网络f`中进行训练，训练时冻结神经网络f`中原属于神经网络f的部分，仅训练神经网络c以及零卷积部分，训练完成得到模型b，得到的模型b在保持数据集a上的精度的同时，在数据集b上的检测精度能够达到直接微调后的模型a的精度；
7、s5、使用模型b对待测的雾天数据进行检测，能够精准检测到雾天数据中的目标，将模型b称为控制模型，为控制模型添加额外参数control，默认为control＝true，即模型处于控制模式，通过修改该参数能够手动选择模型是否进入控制模式，在控制模式下，使用模型b进行检测，在非控制模式下，等价于使用模型a进行检测。
8、进一步，在步骤s2中，所述神经网络f由骨干、颈部、检测头三个部分组成；骨干部分采用cspdarknet53作为其骨干网络，具有出色的特征提取能力和计算效率；颈部部分采用fpn作为网络结构，能够提取不同层次的特征并将其融合；检测头部分通过非极大值抑制算法来对输出结果进行筛选；所述神经网络f的总损失函数公式表达为：
9、ltotal＝λcoord*lcoord+λobj*lobj+λcls*lcls+λgiou*lgiou
10、式中，λcoord、λobj、λcls和λgiou是用于平衡四个部分损失的权重；lcoord是坐标损失，用于确定物体的位置；lobj是对象损失，即置信度损失，用于计算预测框的置信度误差；lcls是类别损失，用于计算预测框的类别误差；lgiou是giou损失，用于衡量预测框与真实框之间的相似度；
11、总损失函数公式中的相应的损失函数公式表达如下：
12、
13、式中，s表示网格的数量，b表示每个网格的预测框数量，表示第p个网格的第q个预测框是否负责预测某个真实物体，即物体是否与真实框有足够的重叠，是预测框对应的真实框的中心点横坐标、中心点纵坐标、宽度和高度；
14、
15、式中，是预测框对应的真实框的真实置信度，1对于正样本，0对于负样本；
16、
17、式中，是第p个网格的第q个预测框在类别c上的概率，是对应的真实框的真实概率，如果预测框属于类别cls，则为1，否则为0；
18、
19、式中，iouareapq为第p个网格的第q个预测框的交并比。
20、进一步，在步骤s3中，所述神经网络c同时复制结构以及参数，受控的神经网络f`的颈部表示为：
21、f`neck＝fneck(·)+attention(zero_conv[c(·)])
22、式中，f`neck是神经网络f`的颈部；fneck是神经网络f的颈部；attention为混合注意力模块；zero_conv为参数初始化为0、卷积核尺寸为1×1、步长为1、填充为0的卷积层；c为f中骨干部分复制得到，·表示神经网络的输入。
23、进一步，在步骤s4中，为了保证模型在数据集a上学习到的参数不会受到新数据集的影响，在数据集b上训练时整个神经网络f`只有神经网络c以及零卷积层是可训练部分，神经网络f`整体表示为：
24、f`:fbakcbone(fneck(·)+zero_conv[c(·)])
25、式中，fbackbone是神经网络f的骨干部分。
26、进一步，在步骤s5中，使用模型b进行推理时能够手动控制模型是否进入控制模式，当control＝false时，模型b与模型a等价，加入参数后网络f`表达为：
27、
28、本发明与现有技术相比，具有如下优点与有益效果：
29、1、本发明训练难度小，不需要经过多次调参尝试，直接通过控制网络训练，控制网络的训练过程高效且资源消耗较低，方法的原理简单但有效，控制网络中含有零卷积连接层，显著减少了训练资源和训练时间。相比与多次尝试冻结模型部分层来进行微调达到最好效果，控制网络的结构能很好地通过附加的链路上的网络来提升模型在新数据集上的性能。
30、2、本发明可拓展性强，通过简单的修改控制网络中神经网络c的结构，方便添加新的模块或修改现有模块同时不会改变原模型的结构以及参数也不需要对整个模型进行重新训练。
31、3、本发明中引入控制模型，能够在训练时保持原模型的参数不受影响，同时在控制网络中学习新模型的数据。这种能力使得模型能够适应各种场景和任务，从而在不同的应用领域中发挥重要作用。同时模型在实际应用中更容易部署和扩展。此方法可以很便捷地应用现有多数主流目标检测模型，例如：yolo系列、dter等等；
32、4、本发明将控制模型与目标检测模型(即卷积神经网络)进行有效地结合，控制模型具有较强的泛化能力。这意味着它可以在不同的图像集上进行训练，并且能够处理复杂的图像。此外，控制模型可以与许多模型无缝集成，同时还可以通过接收并处理各种条件输入(如涂鸦、边缘映射、分割映射、pose关键点等)，实现对生成图像的精准控制。这种控制方式不仅提高了模型结果的质量，而且使得结果更加稳定可控。
1.基于控制模型的雾天目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于控制模型的雾天目标检测方法，其特征在于，在步骤s2中，所述神经网络f由骨干、颈部、检测头三个部分组成；骨干部分采用cspdarknet53作为其骨干网络，具有出色的特征提取能力和计算效率；颈部部分采用fpn作为网络结构，能够提取不同层次的特征并将其融合；检测头部分通过非极大值抑制算法来对输出结果进行筛选；所述神经网络f的总损失函数公式表达为：
3.根据权利要求2所述的基于控制模型的雾天目标检测方法，其特征在于，在步骤s3中，所述神经网络c同时复制结构以及参数，受控的神经网络f`的颈部表示为：
4.根据权利要求3所述的基于控制模型的雾天目标检测方法，其特征在于，在步骤s4中，为了保证模型在数据集a上学习到的参数不会受到新数据集的影响，在数据集b上训练时整个神经网络f`只有神经网络c以及零卷积层是可训练部分，神经网络f`整体表示为：
5.根据权利要求4所述的基于控制模型的雾天目标检测方法，其特征在于，在步骤s5中，使用模型b进行推理时能够手动控制模型是否进入控制模式，当control＝false时，模型b与模型a等价，加入参数后网络f`表达为：
