本发明涉及计算机视觉,特别是涉及一种基于改进detr的白细胞目标检测方法及系统。
背景技术:
1、近几十年来,白细胞检测技术的精度和效率都在不断提高,但与此同时,由于疾病谱的变化和人口老龄化等因素,白细胞检测的复杂性也在不断增加。因此,提高白细胞检测的准确性和可靠性对于现代医疗诊断和治疗管理具有重要意义。
2、近年来提出的detr模型是一种基于transformer结构的新型目标检测算法。detr通过端到端的设计,颠覆了传统目标检测算法的局限,将目标检测看作是一个集合预测问题,从而优化了整个检测流程。然而,与卷积神经网络相比,transformer编码器-解码器对于特征图的局部信息处理并不尽如人意。因此,有必要设计一种基于改进detr的白细胞目标检测方法及系统,有效融合多尺度特征图的局部信息,以提高检测精度。
技术实现思路
1、本发明的目的是提供一种基于改进detr的白细胞目标检测方法及系统,精确了白细胞边界框的定位并提高了白细胞类别的分类精度。
2、为实现上述目的,本发明提供了如下方案:
3、一种基于改进detr的白细胞目标检测方法,包括:
4、获取待检测白细胞图像;
5、将所述待检测白细胞图像输入白细胞目标检测模型,对局部特征进行提取,获取局部特征图并输入detr模型,输出含有白细胞边界框、分类标签及对应置信度的白细胞检测结果,其中,所述白细胞目标检测模型通过带有标签数据的训练数据集训练获得。
6、可选的,通过带有标签数据的训练数据集训练所述白细胞目标检测模型包括:
7、s1、将所述训练数据集中的图像输入所述白细胞目标检测模型;
8、s2、通过resnet50网络对输入图像进行特征提取,获取特征图;
9、s3、将所述特征图分别输入多尺度组最大池化模块、专注多尺度感知模块和深度可分离卷积模块,获取第一特征图、第二特征图和第三特征图;
10、s4、将所述第一特征图、所述第二特征图和所述第三特征图进行特征融合整合,获取局部特征图;
11、s5、将所述局部特征图输入所述detr模型,获取白细胞检测预测结果;
12、s6、基于所述白细胞检测预测结果与标签数据,计算网络损失函数值,重复s1-s5直到所述网络损失函数值不再变化或变化幅度小于预设阈值。
13、可选的,将所述特征图输入所述多尺度组最大池化模块,获取第一特征图包括:
14、将所述特征图输入不同尺度的最大池化层,获取若干第一子特征图;
15、将所述第一子特征图通过concate连接层进行连接并进行上采样,获取所述第一特征图。
16、可选的,将所述特征图输入所述专注多尺度感知模块,获取第二特征图包括:
17、将所述特征图输入膨胀卷积、水平卷积和垂直卷积,并进行concate层连接后输入自注意力模块,获取第二子特征图;
18、将所述第二子特征图进行分离交叉点乘,并输入可变形卷积,获取所述第二特征图。
19、可选的,将所述第二子特征图进行分离交叉点乘包括:
20、将所述第二子特征图以预设通道数进行两两分离,并将分离后的特征进行元素相乘,获取新的第二子特征图;
21、通过残差结构将所述第二子特征图与所述新的第二子特征图进行逐元素相加。
22、可选的,将所述第一特征图、所述第二特征图和所述第三特征图进行特征融合和通道特征整合包括:将所述第一特征图、所述第二特征图和所述第三特征图根据通道维度进行concate连接,并进行深度可分离卷积,获取所述局部特征图。
23、可选的,将所述局部特征图输入所述detr模型,获取白细胞检测预测结果包括:
24、将所述局部特征图和位置编码输入transformer编码器,获取目标的位置和类别序列;
25、通过transformer解码器对所述目标的位置和类别序列进行解码处理,获取相关特征并输入分类网络得到最终的白细胞检测预测结果;
26、获取所述位置编码方法包括:
27、
28、
29、其中,pos表示位置,i表示位置编码的维度索引,d_model表示隐藏层的维度,pe(·)为transformer模型中用于给序列中的每个元素添加位置信息的正余弦函数。
30、本发明还提供了一种基于改进detr的白细胞目标检测系统,包括:
31、白细胞目标检测模型构建模块,用于构建所述白细胞目标检测模型,其中所述白细胞目标检测模型通过带有标签数据的训练数据集训练得到;
32、白细胞检测模块,用于将待检测白细胞图像输入白细胞目标检测模型,对局部特征进行提取,获取局部特征图并输入detr模型,输出含有白细胞边界框、分类标签及对应置信度的白细胞检测结果。
33、本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现基于改进detr的白细胞目标检测方法的步骤。
34、本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于改进detr的白细胞目标检测方法的步骤。
35、本发明的有益效果为:在对特征图进行多尺度融合时,运用了垂直与水平卷积增强了边缘特征信息,结合多尺度膨胀卷积有效的扩大了感受野;所设计的分离交叉卷积对不同感受野特征图进行融合,通过可变形卷积加强受关注的特征;最后融合深度可分离卷积,整合整个特征图局部特征,从而生成对白细胞关注度更高的特征图,提高白细胞分类检测准确度。
1.一种基于改进detr的白细胞目标检测方法,其特征在于,包括:
2.根据权利要求1所述的基于改进detr的白细胞目标检测方法,其特征在于,通过带有标签数据的训练数据集训练所述白细胞目标检测模型包括:
3.根据权利要求2所述的基于改进detr的白细胞目标检测方法,其特征在于,将所述特征图输入所述多尺度组最大池化模块,获取第一特征图包括:
4.根据权利要求2所述的基于改进detr的白细胞目标检测方法,其特征在于,将所述特征图输入所述专注多尺度感知模块,获取第二特征图包括:
5.根据权利要求4所述的基于改进detr的白细胞目标检测方法,其特征在于,将所述第二子特征图进行分离交叉点乘包括:
6.根据权利要求2所述的基于改进detr的白细胞目标检测方法,其特征在于,将所述第一特征图、所述第二特征图和所述第三特征图进行特征融合和通道特征整合包括:将所述第一特征图、所述第二特征图和所述第三特征图根据通道维度进行concate连接,并进行深度可分离卷积,获取所述局部特征图。
7.根据权利要求1所述的基于改进detr的白细胞目标检测方法,其特征在于,将所述局部特征图输入所述detr模型,获取白细胞检测预测结果包括:
8.一种基于改进detr的白细胞目标检测系统,其特征在于,包括:
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1~7任一项所述的基于改进detr的白细胞目标检测方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1~7任一项所述的基于改进detr的白细胞目标检测方法的步骤。