本发明属于人工智能，涉及植物生殖器官的定位与计数，尤其涉及一种植物标本生殖器官定位计数方法、系统、设备及介质。
背景技术：
1、物候是生物的季节性生活事件和周期，特别是与季节变化和气候相关的生物活动。植物标本是监测植物生长演化、进而观测全球气候变化的重要信息。研究表明，植物的花朵、花苞、果实等物候信息，与季节、气候等都具备重要的相关性。因此，可以通过植物标本中生殖器官的占比确定植物的物候期，从而观测植物的物候变化。根据植物标本确定植物的物候期，一方面是可以通过专业人员根据植物标本实物或者照片进行分析、判断；另一方面也可以借助于人工智能技术对植物标本进行识别。
2、基于神经网络的人工智能方法在植物标本的识别中发挥着重要作用，目前基于植物标本进行生殖器官定位和计数的方法主要有两大类：一类是基于传统机器学习的识别方法，其特点是特征提取方式为人工定义；另一类是基于深度学习的方法，其特点是特征依靠深度卷积神经网络自动提取。然而，前者往往会引入人工偏差，后者会有一定程度的过拟合问题，影响识别性能。
3、在植物器官分类方面，申请号为202010333466.9的发明专利申请就公开了一种基于卷积神经网络的植物自动分类方法，该方法先采集样本植物图像数据；舍弃辨识度不高的图像数据，对原始数据打标签，通过打好标签的图像构建数据集，并将数据集分为训练集、验证集和测试集，再对图像数据进行数据扩充处理；使用googlenet构建特征网络，并采用改进后的fast-inception模块结构和h-swish激活函数，建立植物自动分类模型；最后通过植物自动分类模型对待识别图像进行分类。该方法解决了人工对植物进行分类的效率低下且容易造成误分类操作的问题，同时提高了植物分类识别的准确率，提升模型的泛化能力，让模型更具有鲁棒性，且减少了模型训练所需要的计算量和时间。
4、在植物器官计数方面，目前的方法有直接回归法进行计数，这种方法没有充分利用目标的空间信息，计数效果往往很差。为此，申请号为202210825100.2的发明专利申请就公开了一种基于最小化特征差异的无监督跨域植物器官计数方法，其包括以下步骤：s1：构建改进的循环生成式对抗网络的生成器；s2：将源域数据集转换成与目标域数据集特征差异较小的伪数据；s3：构建密度图估计模型；s4：使用搭建好的密度图估计模型训练包含伪数据集与源域数据集的数据；s5：使用训练好的密度图估计模型在目标域数据集上进行测试。本发明改善了现有的无监督跨域植物器官计数方法，缩小源域数据和目标域数据特征差异性，保证模型将两个域的数据映射到同一空间下。有效的利用了现有的带标注信息的数据集来完成对目标数据集进行器官计数的任务。
5、如上述发明专利申请一样，现有的基于神经网络的人工智能方法在植物标本的识别中，一是只能实现对植物标本生殖器官的分类与计数，基本不涉及植物标本生殖器官的定位；二是在植物标本生殖器官的分类与计数中，需要像素级别的标注，其成本代价非常大；三是基于模型输出的密度图来对预测点、真实点进行匹配并计数时，大多使用的是l2距离，但这容易出现匹配错误的问题(如图1所示，p1应该与匹配，p2应该与匹配；但是，根据预测点和真实点的l2距离，会将p1与匹配)，这不但会影响最后的计数结果，还会影响最后的定位结果。
技术实现思路
1、本发明的目的在于：为了解决现有技术在对植物标本生殖器官在采用l2距离匹配进行定位时会存在预测点与真实点匹配精度低、以及样本标注成本高的技术问题，提供一种植物标本生殖器官定位计数方法、系统、设备及介质，一是使用单个点来代替植物器官，降低标注成本；二是将植物标本生殖器官的定位任务转化为对器官中心点坐标的预测任务，并采用创新算法对预测点和真实点进行匹配，提高匹配精度。
2、本发明为了实现上述目的具体采用以下技术方案：
3、一种植物标本生殖器官定位计数方法，包括以下步骤：
4、步骤s1，获取标本图像样本；
5、获取植物标本的图像样本，并对图像样本中的生殖器官进行点标注，得到标签数据；
6、步骤s2，构建生殖器官定位模型；
7、构建生殖器官定位模型，生殖器官定位模型包括依次设置的resnet50主干网络、上采样模块、点回归头、分类头以及匹配器；
8、步骤s3，训练生殖器官定位模型；
9、采用步骤s1获取的植物标本的图像样本即标签数据，对步骤s2构建的生殖器官定位模型进行训练；
10、训练时，resnet50主干网络进行特征提取；上采样模块在进行上采样的同时与resnet50主干网络对应的残差块提取的特征进行特征融合，并得到特征图；特征图经点回归头得出预测点坐标，并经分类头后得到预测点的置信度；匹配器根据预测点的坐标、置信度与真实点进行匹配；根据真实点和与真实点匹配的预测点计算损失函数，并指导生殖器官定位模型的训练；
11、其中，匹配器在进行预测点与真实点的匹配时，匹配距离lkl2计算公式为：
12、lkl2＝l2+ln-ci
13、
14、其中，l2表示预测点与真实点的l2距离，ln表示，k邻接平均距离，ci表示第i个预测点的置信度，(xi，yi)表示第i个预测点坐标，表示第j个真实点坐标，表示第i个预测点与其第k个邻接点的l2距离，表示第j个真实点与其第k个邻接点的l2距离，表示第i个预测点的k邻接平均距离，表示第j个真实点的k邻接平均距离；
15、步骤s4，实时定位与计数；
16、获取待测的植物标本图像，并输入步骤s3训练后的生殖器官定位模型，生殖器官定位模型输出植物标本生殖器官的预测点坐标，并根据预测点坐标的数量进行计数。
17、进一步地，步骤s2中，resnet50主干网络包括依次设置的第一卷积层、第二卷积层、3个第一残差块1、1个第二残差块2、3个第二残差块1、1个第三残差块2、5个第三残差块1、1个第四残差块2以及2个第四残差块1；
18、上采样模块为两组，第一组上采样模块包括第三卷积层、第一上采样模块，第二组上采样模块包括第五卷积层、第二上采样模块；
19、第四残差块1的输出输入第一组上采样模块，第三残差块1的输出经第四卷积层后与第一组上采样模块的输出进行特征融合后作为第二组上采样模块的输入；第二残差块1的输出经第六卷积层后与第二组上采样模块的输出进行特征融合后输入第七卷积层，第七卷积层输出特征图。
20、进一步地，第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层的前向计算公式为：
21、
22、其中，表示第l层与第l+1层之间的卷积核，q、w分别表示卷积核的宽和高，表示第l层的输出，表示第l+1层特征图中位置(n，m)的激活值，n和m分别表示输出特征图的行和列的索引，f()表示非线性激活函数。
23、进一步地，上采样模块进行上采样时，表示为：
24、f′(x′，y′)＝(1-xd)(1-yd)f(x0，y0)+xd(1-yd)f(x0+1，y0)+(1-xd)ydf(x0，y0+1)+xdydf(x0+1，y0+1)
25、xd＝x-x0
26、yd＝y-y0
27、其中，(x，y)表示上采样前的原始特征图中像素的位置坐标，(x′，y′)表示(x，y)在上采样后新的特征图f′中对应的像素位置，其中x0是x的整数部分，y0是y的整数部分，f(x0，y0)表示原始特征图中在(x0，y0)处的像素值，f′(x′，y′)表示采样后的特征图中在(x′，y′)处的像素值。
28、进一步地，步骤s3中，在根据真实点和与真实点匹配的预测点计算损失函数时，损失函数为：
29、l＝lcls+λ1 lloc+λ2 lcnt
30、lcls＝-αt(1-pt)γlog(pt)
31、
32、其中，lloc表示回归损失，lcls表示分类损失，lcnt表示计数损失，λ1、λ2表示回归损失、计数损失的权重；αt表示用来平衡正负样本的平衡因子，pt表示被正确分类的概率，γ表示调节因子，即用来调节容易分类的点的权重；表示真实点，pi表示与真实点相匹配的预测点；n表示真实点的数量，f(pi)表示预测点pi的置信度。
33、一种植物标本生殖器官定位计数系统，包括：
34、标本图像样本获取模块，用于获取植物标本的图像样本，并对图像样本中的生殖器官进行点标注，得到标签数据；
35、生殖器官定位模型构建模块，用于构建生殖器官定位模型，生殖器官定位模型包括依次设置的resnet50主干网络、上采样模块、点回归头、分类头以及匹配器；
36、生殖器官定位模型训练模块，用于采用标本图像样本获取模块获取的植物标本的图像样本即标签数据，对生殖器官定位模型构建模块构建的生殖器官定位模型进行训练；
37、训练时，resnet50主干网络进行特征提取；上采样模块在进行上采样的同时与resnet50主干网络对应的残差块提取的特征进行特征融合，并得到特征图；特征图经点回归头得出预测点坐标，并经分类头后得到预测点的置信度；匹配器根据预测点的坐标、置信度与真实点进行匹配；根据真实点和与真实点匹配的预测点计算损失函数，并指导生殖器官定位模型的训练；
38、其中，匹配器在进行预测点与真实点的匹配时，匹配距离lkl2计算公式为：
39、lkl2＝l2+ln-ci
40、
41、其中，l2表示预测点与真实点的l2距离，ln表示，k邻接平均距离，ci表示第i个预测点的置信度，(xi，yi)表示第i个预测点坐标，表示第j个真实点坐标，表示第i个预测点与其第k个邻接点的l2距离，表示第j个真实点与其第k个邻接点的l2距离，表示第i个预测点的k邻接平均距离，表示第j个真实点的k邻接平均距离；
42、实时定位与计数模块，用于获取待测的植物标本图像，并输入生殖器官定位模型训练模块训练后的生殖器官定位模型，生殖器官定位模型输出植物标本生殖器官的预测点坐标，并根据预测点坐标的数量进行计数。
43、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
44、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
45、本发明的有益效果如下：
46、1、本发明中，构建的生殖器官定位模型包括依次设置的resnet50主干网络、上采样模块、点回归头、分类头以及匹配器，主干网络提取到的特征在上采样时进行特征融合后，再经由回归头得到预测点的坐标，即生殖器官定位模型可实现单个点代替植物器官，图像样本仅需点标注即可，可大大降低标注成本；此外，生殖器官定位模型将生殖器官的定位任务转化为生殖器官中心点坐标的预测任务，采用了创新的匹配距离lkl2计算方法，根据l2距离、k邻接平均距离以及置信度相结合的方法进行预测点与真实点的匹配，可大大提高预测点与真实点的匹配精度。
47、2、本发明中，在训练生殖器官定位模型时，在损失函数中引入了回归损失、分类损失和计数损失，该损失函数在训练时能够加速模型的收敛速度，提高模型最终预测结果的准确率。
1.一种植物标本生殖器官定位计数方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种植物标本生殖器官定位计数方法，其特征在于：步骤s2中，resnet50主干网络包括依次设置的第一卷积层、第二卷积层、3个第一残差块1、1个第二残差块2、3个第二残差块1、1个第三残差块2、5个第三残差块1、1个第四残差块2以及2个第四残差块1；
3.如权利要求2所述的一种植物标本生殖器官定位计数方法，其特征在于：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层的前向计算公式为：
4.如权利要求2所述的一种植物标本生殖器官定位计数方法，其特征在于：上采样模块进行上采样时，表示为：
5.如权利要求1所述的一种植物标本生殖器官定位计数方法，其特征在于：步骤s3中，在根据真实点和与真实点匹配的预测点计算损失函数时，损失函数为：
6.一种植物标本生殖器官定位计数系统，其特征在于，包括：
7.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
