本发明涉及一种农作物目标检测识别、计算机目标检测等领域，具体涉及一种基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法及系统。
背景技术：
1、水稻是世界上重要的粮食作物之一，是我国第一大粮食作物，占粮食总产量的40％以上。2023年，我国水稻播种面积达到2894.91万公顷，稻谷产量达到20660.32万吨。插秧是水稻种植的关键环节，其质量好坏决定着水稻产量。机械化插秧工作效率高，节水、节肥，秧苗更加整齐，均匀的株间距更利于通风，可以提高或稳定作物产量，逐渐成为水稻种植的主要方式。但是，在遇到田地不平整、秸秆残留、插秧机操作不当等情况时，极易发生漏插、漂秧等情况，需要后期补苗。补苗时，对秧苗的识别，主要依靠人工评估，这种传统方式不仅费时费力，而且存在效率低、客观性不足等问题。使用深度学习通过对数据集的训练和学习进行特征提取，可以快速且准确的识别秧苗，在精度和实时性方面，远超传统工作方式，是一种检测机插秧苗漂秧漏插的有效方法。
2、如文献号为cn111932551a的现有技术，公开了一种水稻插秧机的漏插率检测方法，其包括以下步骤：(1)图像采集模块对秧田彩色图像进行采集，并传送至图像处理分析模块；(2)图像处理分析模块对秧田彩色图像进行处理，得到优化的秧苗二值图像，获取秧苗连通区域；(3)利用像素投影法累加优化后的秧苗二值图像每行及每列的白色像素值，确定所期望目标区域的左右边界及上下边界，将优化后的秧苗二值图像切分为多个目标区域单元；(4)图像处理分析模块连续处理多幅图像后，统计空白目标区域单元数量以及所有目标区域单元数量；(5)计算空白目标区域单元数量占所有目标区域单元数量的比例，得到漏插率，该现有技术实现了对水稻插秧机漏插率的检测。该现有技术并没有采用深度学习网络模型对水稻秧苗图像进行目标识别。
3、因此亟需提出一种基于深度学习的水稻秧苗漂秧漏插识别方法，以实现水稻秧苗漂秧漏插智能识别技术快速推广。
技术实现思路
1、本发明要解决的技术问题是：
2、鉴于此，本发明提供了一种基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法及系统，该方法极大的改善了传统人工补苗存在的费时费力问题，通过设计深度学习网络模型，提升水稻秧苗的检测精度。
3、本发明为解决上述技术问题所采用的技术方案为：
4、一种基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法与系统，具体步骤如下：
5、步骤s1：无人机获取大田机插水稻秧苗图像数据；
6、步骤s2：对大田水稻秧苗进行预处理和标注，得到预处理图像；
7、步骤s3：选用原始faster-rcnn(faster-regions with cnn features)深度学习模型，并根据水稻秧苗特性对该深度学习网络进行优化，得到改进的faster-rcnn模型；
8、步骤s4：将预处理的水稻秧苗数据集导入改进的faster-rcnn模型进行迭代训练；
9、步骤s5：将待测水稻秧苗图像导入训练后的faster-rcnn模型进行水稻秧苗检测；
10、步骤s6：利用最小二乘法对预测后的水稻秧苗进行拟合，找出漏插水稻秧苗位置。
11、进一步地，所述步骤1所包括的具体内容：
12、步骤s11：将无人机调整为相应的巡航定速拍照模式，在遥控显示器中选定无人机作业的地块进行数据采集；
13、步骤s12：其中无人机的飞行指标为：无人机与水稻秧苗的拍摄距离为1.5米至2米，采用dji gs pro模式进行测绘航拍，无人机飞行速度为1m/s，拍摄角度为-90°，拍照间隔为2s，前后重叠率为60％。
14、步骤s13：无人机为大疆mavic 3t搭载大疆rc-n1遥控器，配有四块原装电池，足够无人机一天的飞行作业。
15、进一步地，所述步骤2所包括的具体内容：
16、步骤s21：对采集到的大田水稻秧苗进行数据整理，将无法识别的模糊图片与操作不当拍摄到带土地的图片进行剔除；
17、步骤s22：针对水面反光的水稻秧苗图像将其反光区域进行亮度调节，利用中值滤波对土壤环境复杂的水稻秧苗图像平滑处理；
18、步骤s23：将图片进行合理的缩放操作，调整像素、统一数据集尺寸，便于后续的模型训练；
19、步骤s24：对数据集中类别较少的水稻秧苗图像进行翻转、镜像等操作增加数据集的丰富度；
20、步骤s25：将整理好的数据集以8：2的比例分为训练数据集与测试数据集；
21、步骤s26：根据拟定的标准对清洗后的水稻秧苗数据集进行数据标注，其中，拟定的标准为：以矩形框为基准，记录下水稻秧苗的左上角坐标与右下角坐标，将水稻秧苗完整的包含其中，根据gb/t 6243-2017《水稻插秧机试验方法》中对正常秧苗、漂秧、漏插秧苗的定义，对合格秧苗、漂秧及叶龄小于4叶的秧苗进行分类标注。
22、所述的改进faster-rcnn网络模型的构建，具体包括：根据田间水稻秧苗单株识别特点，选用深度学习网络中的双阶段网络模型faster-rcnn；
23、将faster-rcnn网络中的主干网络vgg16替换为残差网络res net50；
24、将faster-rcnn网络中感兴趣区域池化roipooling层替换为roi align层；
25、漂秧与合格秧苗的差异主要为漂秧根系未栽入泥土内，为有效区分漂秧及合格秧苗的差异性，增加fpn特征金字塔对水稻秧苗特征信息进行提取，得到更加精确的水稻秧苗信息。
26、进一步地，所述步骤3所包括的具体内容：
27、步骤s31：将预处理后的大田水稻秧苗图像数据输入该模型头部的主干网络，用于提取图像数据集中的特征信息生成多尺度特征融合信息图，改进模型的主干网络为残差网络resnet50；
28、步骤s32：采用fpn特征金字塔对水稻秧苗图像特征信息进行多尺度融合，通过在多个尺度上构建特征金字塔，以提取不同尺度下的水稻秧苗特征，使得resnet50在对水稻秧苗进行特征提取时准确提取空间信息。
29、步骤s33：从主干网络得到的多尺度特征融合信息图经由区域建议网络rpn生成大量的候选框，再将得到的候选框映射到多尺度特征融合信息图上，得到新的特征矩阵；
30、步骤s34：利用roi align中双线性插值的方法对经过区域建议网络中得到的特征矩阵进行处理，获得7×7的特征图；
31、步骤s35：特征信息图经全连接层对特征信息图进行分类，利用边界框回归获得每个目标的偏移量，得到更加精确的锚点框，得到目标的精确定位。
32、进一步地，所述步骤4所包括的具体内容：
33、步骤s41：将预处理后的水稻秧苗数据集导入改进的faster-rcnn网络模型，并进行数据分类；
34、步骤s42：设计调整深度学习网络模型的训练参数，包括迭代次数、学习率等模型参数；
35、步骤s43：利用imagenet数据集预训练改进的faster-rcnn网络模型得到预训练权重，再将预训练权重结合预处理后的水稻秧苗训练数据集单独训练改进faster-rcnn网络模型中的rpn网络层参数；
36、步骤s44：将训练好的rpn网络参数固定，利用从rpn网路中生成的目标建议框训练fast-rcnn网络参数，并对fast-rcnn网络中的全连接层进行微调；
37、步骤s45:rpn网络与fast-rcnn网络同时共享前置网络参数，构成一个统一的网络。
38、进一步地，改进的faster-rcnn网络模型的优化训练参数所包括的具体内容：
39、将预训练图像数据集导入该深度学习网络模型训练网络中，每次迭代训练时随机导入一批次的图片作为数据集进行特征信息提取，采用反向传播和批标准化进行优化训练，其中，迭代训练过程进行i次，设置更新方式为“step”
40、进一步地，所述步骤5所包括的具体内容：
41、步骤s51：将待测水稻秧苗导入到改进的faster-rcnn网络模型；
42、步骤s52：待测图片输入主干网络残差网络resnet50提取特征信息，经过fpn特征金字塔对特征信息进行特征融合，生成多尺度特征融合信息图；
43、步骤s53：利用rpn网络生成候选框，将生成的候选框映射到多尺度特征融合信息图，得到新的特征矩阵；
44、步骤s54：利用roi align对新生成的特征矩阵进行插值处理，生成7×7的特征图；
45、步骤s55：特征信息图经全连接层对特征信息图进行分类，利用边界框回归获得每个目标精确的位置坐标，并对目标精确定位。
46、进一步地，所述步骤6所包括的具体内容：
47、将改进的faster-rcnn网络模型预测出水稻秧苗的具体位置并标出候选框，并找到候选框的中心点及位置坐标；
48、利用最小二乘法对水稻秧苗进行直线拟合，分别拟合横向与纵向的行线，得到中心交叉坐标为秧苗的预测点；
49、对落在候选框中的预测中心点认定为秧苗位置，没有候选框的中心点记为水稻秧苗漏插位置。
50、一种基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别系统，该系统具有与上述任一技术方案的步骤对应的程序模块，运行时执行上述的基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法的步骤。
51、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现所述的基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法的步骤。
52、一种水稻秧苗漂秧漏插识别设备，包括处理器以及用于存储数据的存储器，所述处理器执行存储的程序时，实现所述的基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法的步骤。相当于提出一种计算机设备，包括处理器以及用于存储数据的存储器，其特征在于，所述处理器执行存储的程序时，实现权利要求任一项所述的水稻秧苗漂秧漏插识别方法。
53、所述水稻秧苗漂秧漏插识别设备，还包括摄像头。用于安装在水稻插秧机上，实时进行水稻秧苗漂秧漏插的识别，并进行定位，从而控制水稻插秧机精准补苗。
54、总结上述步骤：本发明为利用深度学习网络模型对水稻秧苗漂秧漏插识别，在传统人工识别的条件下研究一种利用深度学习网络实现更加省时省力的作业方式；对传统的faster-rcnn网络模型进行改进，舍弃掉原有的vgg网络模型，选用残差网络resnet50作为模型的主干网络对水稻秧苗数据集将进行特征提取，以及fpn特征金字塔进行特征融合，生成多尺度特征融合信息图；将roi align替换掉原本的roipooling，利用双线性插值的方法取代了原本的两次量化操作，最后进行最大池化操作，提高了对目标识别的准确度。
55、本发明具有以下有益技术效果：基于无人机提取的水稻秧苗遥感数据集和监测方法可以极大的提高工作效率。深度学习是目前最具潜力的图像识别的现代化方法，将这项技术应用在水稻秧苗识别中，可以提高水稻秧苗的补苗效率和质量，可实现水稻的优质高产。本发明利用无人机获取大田水稻秧苗图片作为样本数据集，对水稻大田样本进行数据预处理标注并进行图像清洗，得到预处理的图像数据。建立深度学习网络检测模型并利用残差网络resnet50与fpn特征金字塔进行改进，使用预处理的水稻秧苗图像对改进的faster-rcnn网络模型进行优化训练；训练后的faster-rcnn网络模型对待测水稻秧苗图像进行识别，识别的图像用最小二乘法进行拟合，找到水稻秧苗漏插位置。本发明采用深度学习的识别方法，对现有的水稻秧苗识别技术大幅提高，通过改进的faster-rcnn网络模型对水稻秧苗漂秧数、成活数、少叶数及漏插进行分类识别，在复杂条件下依然能得到较高的识别精度。
56、根据本发明对水稻秧苗漂秧漏插识别的研究，具有以下优势：
57、1、与传统水稻秧苗随机抽样的的识别方法相比，本发明提供了一种基于深度学习网络模型的上位机方式对水稻秧苗图片进行目标识别，能够减少由于传统作业量大、任务繁重对室外工作人员造成的影响，不仅节省了人力，还提高了补苗作业的工作效率。
58、2、本发明利用残差网络resnet50与fpn特征金字塔作为faster-rcnn网络模型的主干网络，该网络可以训练非常深的神经网络，避免了梯度消失问题，提高了模型的精确度和泛化能力。
59、3、本发明采用双线性插值的方法取代了原本的两次量化操作，用roi align替换掉原本的roipooling，提高了对目标识别的准确度。
1.一种基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的水稻秧苗漂秧漏插识别方法，其特征在于，利用无人机获取水稻秧苗图像，具体包括：
3.根据权利要求1或2所述的水稻秧苗漂秧漏插识别方法，其特征在于，所述的无人机为大疆mawic 3t搭载大疆rc-n1遥控器，配有四块原装电池，足够无人机一天的飞行作业。
4.根据权利要求3所述的水稻秧苗漂秧漏插识别方法，其特征在于，所述对大田水稻秧苗采集的数据集进行预处理和数据标注，数据集预处理内容包括：
5.根据权利要求4所述的水稻秧苗漂秧漏插识别方法，其特征在于，所述的改进faster-rcnn网络模型的构建，具体包括：
6.根据权利要求1或5所述的水稻秧苗漂秧漏插识别方法，其特征在于，所述的改进faster-rcnn网络模型的优化训练，具体包括：
7.根据权利要求6所述的水稻秧苗漂秧漏插识别方法，其特征在于，所述使用预处理图像数据对深度学习检测模型进行优化训练，具体为：
8.根据权利要求1或7所述的水稻秧苗漂秧漏插识别方法，其特征在于，所述的对待测水稻秧苗预测，具体包括：
9.根据权利要求1所述的水稻秧苗漂秧漏插识别方法，其特征在于，所述的预测水稻秧苗漏插位置，具体包括：
10.一种基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别系统，其特征在于：该系统具有与权利要求1-9任一项权利要求的步骤对应的程序模块，运行时执行上述的基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法的步骤。
11.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-9中任一项所述的基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法的步骤。
12.一种水稻秧苗漂秧漏插识别设备，包括处理器以及用于存储数据的存储器，其特征在于，所述处理器执行存储的程序时，实现权利要求1-9任一项所述的基于改进faster-rcnn模型的机插水稻秧苗漂秧漏插识别方法的步骤。
