本发明涉及目标识别,特别涉及一种胡麻植株的果实考种方法、装置、设备及介质。
背景技术:
1、胡麻因其富含人体所必需的脂肪酸和营养成分,得到了越来越多消费者的青睐,被国际营养和生理学家公认是重要的功能性作物之一;同时,又因其纤维韧性强,是重要的工业和纺织面料;种质资源创新和新特优良品种的培育是胡麻产业健康可持续发展的根本出路,而快速精准考种是胡麻产业发展最关键的基础工作之一。目前,胡麻考种基本完全依赖手工处理,效率低下,出错率高,而且带有一定的主观性;并且随着城市化进程的加快,劳动力成本不断增高,严重制约了胡麻产业的发展。如何利用计算机技术实现便捷、高效且准确地考种已成为全球胡麻育种专家共同关注的焦点。
2、近年来,计算机视觉和深度学习技术的发展为解决这一问题提供了新的思路,尤其是目标检测技术已成为农业领域一个重要的研究方向。目标检测技术通过定位和识别图像中的物体,为视觉分析提供基础。一些研究人员提出了基于yolo的目标检测模型,但因其参数量和浮点运算次数较大,导致模型的时效性较低;并且由于农作物生长环境背景复杂多变,模型极易出现误检或漏检问题带来的精度损失,这些都限制了该类模型在农业生产实际中的推广应用。
3、综上,小目标检测技术在农业领域应用仍然面临一系列的问题,如特征选择困难、特征信息丢失以及不同尺度特征反应差异导致的误检和漏检等;胡麻果实由于其子房数目及其各自发育程度不尽相同,从而导致其果实轮廓、大小及形状不规则,分枝数较多并且生长位置随意且对果实会造成大面积遮挡,果实成熟程度不尽相同从而导致其开裂程度也不相同等现象,增加了胡麻植株果实考种,即胡麻果实(蒴果)小目标检测的难度,使得小目标检测中存在的各种问题在胡麻植株考种中更加突出。
技术实现思路
1、本发明实施例提供一种胡麻植株的果实考种方法、装置、设备及介质,可以解决现有技术中,存在的因胡麻植株普遍存在蒴果轮廓大小形状不规则、分枝数较多、生长位置随意且对果实会造成大面积遮挡以及果实开裂程度不同等现象,增加了胡麻植株果实考种的难度,使得小目标检测中存在的各种问题在胡麻植株考种中更加棘手,无法准确识别胡麻植株考种中蒴果小目标的问题。
2、本发明实施例提供一种胡麻植株的果实考种方法,包括以下步骤:
3、获取胡麻植株的图像数据集;
4、构建rt-detr网络模型,在rt-detr网络模型的backbone部分中引入repncspelan4模块、adown模块及contextaggregation模块,以及将adown模块和haar waveletdownsampling模块融合为hwd-adown模块后引入backbone部分,并将repncspelan4模块、adown模块、contextaggregation模块及hwd-adown模块融合后替换rt-detr网络模型的backbone部分中原有的resnet结构并与backbone部分融合,形成改进后的rahc-backbone部分;
5、在rt-detr网络模型的efficient hybrid encoder部分将aifi模块中multi-headattention模块替换为hiloattention模块,将hiloattention模块及aifi模块融合为hilo-aifi模块引入efficient hybrid encoder部分,将ssff模块和dysample模块融合为dssff模块引入efficient hybrid encoder部分,以及引入tfe模块与hilo-aifi模块及dssff模块融合为改进后的htd-efficient hybrid encoder部分;
6、在rt-detr网络模型head部分引入p2层检测头,将p2层检测头与head部分融合为改进后的p2-head部分;
7、将改进后的rahc-backbone部分、改进后htd-efficient hybrid encoder部分及改进后的p2-head部分进行融合,得到对rt-detr网络模型改进后的lehp-detr网络模型;以及采用胡麻植株的图像数据集对lehp-detr网络模型进行训练,获得训练后的lehp-detr网络模型;
8、将胡麻植株的图像输入至训练后的lehp-detr网络模型中;通过改进后的rahc-backbone部分,获得边缘信息和细节信息显著的特征图;通过改进后的htd-efficienthybrid encoder部分,获得背景与目标果实对比显著的特征图;通过改进后的p2-head部分,获得胡麻植株的果实考种。
9、优选地,所述获取胡麻植株的图像数据集,包括:
10、使用工业相机拍摄多张胡麻植株的图像;
11、利用labellmg工具标注多张胡麻植株图像中的胡麻蒴果,构建胡麻植株的图像数据集。
12、优选地,所述repncspelan4模块,包括:
13、所述repncspelan4模块包括repncsp模块和elan模块;
14、所述repncsp模块用于提取特征,所述elan模块用于增强对目标的识别。
15、优选地,所述hilo-aifi模块,包括:
16、将aifi模块中multi-headattention模块替换为hiloattention模块,并将hiloattention模块和aifi模块融合形成hilo-aifi模块;
17、所述multi-headattention模块依赖于自注意力机制,通过计算输入序列中每个元素与其他所有元素之间的相似度来生成注意力分布;
18、所述hiloattention模块将注意力分为两个部分:低频部分和高频部分,低频部分用于全局结构信息的捕捉,高频部分用于局部细节信息的提取。
19、优选地,所述tfe模块,包括:
20、所述tfe模块是通过获取三个张量l、m及s,将m张量的高和宽作为目标大小,通过自适应池化操作将l调整到和m相同的大小,并进行最大池化和平均池化后相加;
21、使用插值法将s调整到和m相同的大小,并将l、m及s按通道维度,即dim=1拼接成一个张量;获取tfe模块输出特征图的公式如下:
22、ftfe=concat(f1,fm,fs)
23、其中:ftfe表示tfe模块输出的特征图;f1、fm和fs分别表示大、中和小尺寸的特征图;
24、ftfe由f1、fm和fs拼接得到;ftfe和fm分辨率相同,并且通道数是fm的三倍。
25、优选地,所述p2层检测头具有160×160像素的分辨率,在主干网络中进行两次下采样。
26、优选地,所述lehp-detr网络模型的rahc-backbone部分与htd-efficienthybridencoder部分之间插入有contextaggregation模块;
27、所述contextaggregation模块,用于使高层级特征图能够保留低层级特征图中的细节信息。
28、本发明实施例还提供一种胡麻植株的果实考种装置,包括:
29、图像模块,用于获取胡麻植株的图像数据集;
30、模型模块,构建rt-detr网络模型,在rt-detr网络模型的backbone部分中引入repncspelan4模块、adown模块及contextaggregation模块,以及将adown模块和haarwavelet downsampling模块融合为hwd-adown模块后引入backbone部分,并将repncspelan4模块、adown模块、context aggregation模块及hwd-adown模块融合后替换rt-detr网络模型的backbone部分中原有的resnet结构并与backbone部分融合,形成改进后的rahc-backbone部分;
31、在rt-detr网络模型的efficient hybrid encoder部分将aifi模块中multi-headattention模块替换为hiloattention模块,将hiloattention模块及aifi模块融合为hilo-aifi模块引入efficient hybrid encoder部分,将ssff模块和dysample模块融合为dssff模块引入efficient hybrid encoder部分,以及引入tfe模块与hilo-aifi模块及dssff模块融合为改进后的htd-efficient hybrid encoder部分;
32、在rt-detr网络模型head部分引入p2层检测头,将p2层检测头与head部分融合为改进后的p2-head部分;
33、将改进后的rahc-backbone部分、改进后htd-efficient hybrid encoder部分及改进后的p2-head部分进行融合,得到对rt-detr网络模型改进后的lehp-detr网络模型;以及采用胡麻植株的图像数据集对lehp-detr网络模型进行训练,获得训练后的lehp-detr网络模型;
34、识别模块,将胡麻植株的图像输入至训练后的lehp-detr网络模型中;通过改进后的rahc-backbone部分,获得边缘信息和细节信息显著的特征图;通过改进后的htd-efficient hybrid encoder部分,获得背景与目标果实对比显著的特征图;通过改进后的p2-head部分,获得胡麻植株的果实考种。
35、本发明实施例还提供一种电子设备,包括存储器和处理器;
36、所述存储器,用于存储计算机程序;
37、所述处理器,用于执行所述存储器中存储的计算机程序时,实现如上所述的一种胡麻植株的果实考种方法的步骤。
38、本发明实施例还提供一种计算机可读存储介质,用于存储计算机程序,所述计算机程序被处理器执行时实现如上所述的一种胡麻植株的果实考种方法的步骤。
39、本发明实施例提供一种胡麻植株的果实考种方法、装置、设备及介质,与现有技术相比,其有益效果如下:
40、本发明分别引入repncspelan4模块、adown模块、contextaggregation模块和tfe模块,以及新设计的hwd-adown模块、hilo-aifi模块和dssff模块分别对rt-detr网络模型中的backbone部分、efficient hybrid encoder部分和head部分进行替换并融合形成改进后的lehp-detr网络模型,使模型能够清晰地识别低对比度的小目标、遮挡度较高的小目标及果实不显著的小目标,同时能全面地捕捉图像中的不同频率特征,使得对于小目标的识别精度大大提高,而后采用胡麻植株的图像数据集对lehp-detr网络模型进行训练,以使训练后的lehp-detr网络模型能够偏向于胡麻植株图像中小目标的识别,即能够容易地识别发育程度不尽相同、果实轮廓大小形状不规则、分枝数较多、位置相互遮挡及开裂程度不同的胡麻植株的果实,大大减轻了胡麻植株果实考种的难度。
1.一种胡麻植株的果实考种方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种胡麻植株的果实考种方法,其特征在于,所述获取胡麻植株的图像数据集,包括:
3.根据权利要求1所述的一种胡麻植株的果实考种方法,其特征在于,所述repncspelan4模块,包括:
4.根据权利要求1所述的一种胡麻植株的果实考种方法,其特征在于,所述hilo-aifi模块,包括:
5.根据权利要求1所述的一种胡麻植株的果实考种方法,其特征在于,所述tfe模块,包括:
6.根据权利要求1所述的一种胡麻植株的果实考种方法,其特征在于,所述p2层检测头具有160×160像素的分辨率,在主干网络中进行两次下采样。
7.根据权利要求1所述的一种胡麻植株的果实考种方法,其特征在于,所述lehp-detr网络模型的rahc-backbone部分与htd-efficient hybrid encoder部分之间插入有contextaggregation模块;
8.一种胡麻植株的果实考种装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:存储器和处理器;
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1~7任一项所述的一种胡麻植株的果实考种方法的步骤。