本发明涉及人工智能,特别涉及一种基于深度学习技术的ai算法优化系统及方法。
背景技术:
1、在目标检测和图像处理领域,深度学习模型的性能很大程度上取决于其处理多尺度信息的能力。传统的单输入单输出颈部结构,如在许多卷积神经网络(cnn)中所见,因其固定的感受野大小而受到限制。感受野,即网络内部神经元可以接触到的输入区域,对于模型感知不同尺度的目标至关重要。固定的感受野意味着模型无法有效处理尺度变化大的目标,成为目标检测任务中的一个问题。
2、为了增强特征整合能力,引入了如rfb(receptive field block)这样的模块。rfb通过使用不同扩张率的卷积来扩大感受野,从而允许模型捕获到更多尺度的信息。尽管这种方法在一定程度上提高了模型处理多尺度信息的能力,但它依然需要手动设定不同的扩张率,这缺乏自适应多尺度处理的能力,无法最优化地适应各种场景。
3、最近,yolo(you only look once)v8架构在目标检测领域获得了广泛的应用,这得益于其高效的检测能力和优越的性能。yolov8采用的颈部结构设计用于整合不同层级的特征,但在多尺度处理方面仍有改进空间。基于这些现有技术的局限性,本文提出了一种算法优化方案,该方案结合了yolov8的基本架构和rfb模块的设计思想,以实现自适应的多尺度特征融合。
技术实现思路
1、本发明通过设置自适应多尺度离散特征融合模块(amdfm),增强网络对不同尺度特征的感知和处理能力。
2、本发明提供的技术方案为:一种基于深度学习技术的ai算法优化方法,所述方法应用于目标检测算法yolov8模型,包括:
3、获取yolov8模型;
4、在yolov8模型中嵌入空间注意力模块;
5、改进颈部网络,以增强对不同尺度特征的提取能力;具体为:
6、采用yolof的单输入单输出方法,对特征图进行多尺度的特征增强提取后,进行自适应特征融合操作;
7、将颈部网络的输出结果输入到解耦检测头;
8、训练模型,以获得可以部署的改进后模型。
9、优选的,所述改进颈部网络包括如下步骤:
10、使用多尺度特征融合模块amdfm的单输入单输出结构替换原来的路径聚合网络panet,所述多尺度特征融合模块amdfm包括:若干个卷积块conv、扩张混合卷积块dmconv和自适应特征融合模块asff,若干所述conv用于接收输入特征图;
11、构建多个分支,通过分支上的卷积核为1的conv块进行通道维度变换;
12、其中一个分支内的conv块作为残差连接至输出,其余分支的conv块分别与不同扩张率的扩张混合卷积dmconv连接;
13、将三个分支进行拼接输入自适应特征融合模块asff,通过对不同尺度特征图赋予可学习权重,将三个dmconv分支的输出与权重相乘后相加完成自适应多尺度特征融合;所述asff模块中包括四个卷积层。
14、优选的,所述将三个分支进行拼接输入自适应特征融合模块asff,通过对不同尺度特征图赋予可学习权重,将三个dmconv分支的输出与权重相乘后相加完成自适应多尺度特征融合,包括:
15、三个卷积层用于接收dmconv的输出,三个卷积层的输出经过拼接操作整合后输入到第四个卷积层,第四个卷积层的输出经过归一化指数函数softmax函数,生成三个权重值;
16、三个dmconv的输出与权重相乘后相加,以完成自适应特征融合。
17、优选的,所述dmconv的结构包括:若干普通卷积层和若干扩张卷积层,所述普通卷积层和扩张卷积层串联;通过普通卷积层和扩张卷积层串联、拼接和通道混洗的操作,获得离中心点更广泛区域特征之间的联系,以更好的学习图像中目标的空间位置信息和散射特性。
18、优选的,还包括以下步骤:
19、调节扩张率,使dmconv可以获得不同感受野融合的效果,以保证对输入的特征图数据利用是连续的,不会损失信息;所述dmconv参数量和计算量与conv块一致。
20、优选的,所述对改进后模型进行训练,以获得可以部署的模型,包括:
21、从数据库中获取图像数据,然后对图像数据集进行预处理,构成数据集,将数据集以7:2:1的比例随机分为训练集、验证集和测试集;
22、设置训练参数;利用训练集对模型进行训练,得到训练后的模型权重文件;
23、利用测试集对训练后模型进行性能评估,评价指标包括精确率、召回率、map、参数量、计算量、运行速度中的一种或者多种;
24、所述数据集中的图片尺寸包括但不限于:800×800像素、1000×1000像素、1200×1200像素。
25、优选的,所述从数据库中获取图像数据,然后对图像数据集进行预处理,包括:
26、采用mosaic数据增强方式对数据集中的图像进行预处理,具体为:对图片进行随机缩放、剪裁、排列的方式进行拼接,以增强改进后模型的鲁棒性。
27、优选的,所述设置训练参数;利用训练集对模型进行训练,包括:
28、将训练集中的图像缩放为640 × 640像素,优化器为sgd,动量因子大小为0.937,初始学习率为0.01,权重衰减为0.0005,每次实验进行300个轮次epoch,以达到模型收敛避免过拟合,保留在验证集上评价最好的模型作为最终的训练结果,检测时iou阈值为0.5,置信度阈值为0.2;
29、所述准确率、召回率计算公式如下:
30、
31、,
32、其中,表示正确检测的目标个数,表示错误检测的目标个数,是未检测到的目标个数;
33、平均精确率的计算公式如下:
34、
35、,其中,表示不同置信度阈值iou下的准确率p-召回率r曲线下的面积;表示各类的平均精确率,表示第个平均准确率;
36、模型参数量和每秒浮点运算次数定义为:
37、
38、,其中表示卷积核大小,和分别表示卷积层输入和输出的通道数,和表示输出特征图的高和宽;
39、每秒帧数用于衡量算法的整体检测速度,计算公式如下:
40、,其中表示时间长度。
41、本发明还提供一种基于深度学习技术的ai算法优化系统,包括处理器和与处理器连接的通信模块、存储器、图像采集装置和显示器,所述系统用于执行所述的一种基于深度学习技术的ai算法优化方法。
42、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现所述的一种基于深度学习技术的ai算法优化方法。
43、本发明的有益效果:
44、1、本发明中,构建了多个分支,通过分支上的卷积核为1的conv块进行通道维度变换,其中一个分支内的conv块作为残差连接至输出,其余分支的conv块分别与不同扩张率的扩张混合卷积dmconv连接;通过拼接这些分支的输出,模型能自适应地整合不同尺度的特征,这种多分支结构的引入,提高了模型对不同大小目标的检测能力,尤其增强了对同时存在的小目标和大目标场景的处理效果。
45、2、本发明中,dmconv的结构包括若干普通卷积层和若干扩张卷积层,普通卷积层和扩张卷积层并行,并行处理允许在不同的特征尺度上同时进行学习,而不是序列地进行,这可以加速训练过程;在dmconv中,普通卷积层用于提取局部特征,而扩张卷积层则用于捕获更大范围的特征,这两个卷积层的输出被拼接在一起,形成一个更丰富的特征表示,在dmconv添加了dilation的参数,用于控制扩张卷积层的扩张率,通过调整这个参数,我们可以控制dmconv的感受野大小,从而实现不同感受野融合的效果,也就是说可以通过扩大感受野来增强特征整合,提升模型对复杂场景的理解。
1.一种基于深度学习技术的ai算法优化方法,其特征在于,所述方法应用于目标检测算法yolov8模型,包括:
2.根据权利要求1所述的一种基于深度学习技术的ai算法优化方法,其特征在于,所述改进颈部网络包括如下步骤:
3.根据权利要求1所述的一种基于深度学习技术的ai算法优化方法,其特征在于,所述将三个分支进行拼接输入自适应特征融合模块asff,通过对不同尺度特征图赋予可学习权重,将三个dmconv分支的输出与权重相乘后相加完成自适应多尺度特征融合,包括:
4.根据权利要求3所述的一种基于深度学习技术的ai算法优化方法,其特征在于,所述dmconv的结构包括:若干普通卷积层和若干扩张卷积层,所述普通卷积层和扩张卷积层串联或并联;通过普通卷积层和扩张卷积层串联、拼接和通道混洗的操作,获得离中心点更广泛区域特征之间的联系,以更好的学习图像中目标的空间位置信息和散射特性。
5.根据权利要求1所述的一种基于深度学习技术的ai算法优化方法,其特征在于,还包括以下步骤:
6.根据权利要求1所述的一种基于深度学习技术的ai算法优化方法,其特征在于,所述对改进后模型进行训练,以获得可以部署的模型,包括:
7.根据权利要求6所述的一种基于深度学习技术的ai算法优化方法,其特征在于,所述从数据库中获取图像数据,然后对图像数据集进行预处理,包括:
8.根据权利要求6所述的一种基于深度学习技术的ai算法优化方法,其特征在于,所述设置训练参数;利用训练集对模型进行训练,包括:
9.一种基于深度学习技术的ai算法优化系统,包括处理器和与处理器连接的通信模块、存储器、图像采集装置和显示器,其特征在于,所述系统用于执行上述权利要求1-8中任意一项所述的一种基于深度学习技术的ai算法优化方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现上述权利要求1-8中任意一项所述的一种基于深度学习技术的ai算法优化方法。