本发明属于人工智能及牧业信息，具体涉及一种基于多模态决策层融合的牛只身份识别方法。
背景技术：
1、近年来，随着科学技术的不断发展，由传统的人工监测养殖逐渐转变为机器自动识别检测，取而代之的是畜牧业会产生更高的效益、更低的成本以及更加智能可持续化的发展，保障了畜牧产品的质量和安全，人们逐渐将人工智能应用到畜牧行业，使得畜牧业正在呈现出具有智能规范化的发展态势，人们对于养殖场奶牛育种情况、健康情况进行实时检测，因为这是保证肉制品以及奶制品的食品安全的前提，也是对于防病追溯、配种、养殖、保险理赔等管理工作的必要保障，基于奶牛个体精准化、自动化、集约化的发展模式为主要研究方向。
2、如今，对于养殖场牛只识别还存在很多问题，具体体现以下几个层面：
3、(1)传统的单一生物特征存在一定的误识率，例如，耳标可能脱落，牛脸受拍摄角度影响较大。
4、(2)单一特征所包含的信息量有限，不能构建更全面精确的特征表达。另外牛只个体差异较大，单一特征难以涵盖所有的差异信息。
5、(3)在养殖场环境中，牛只数量众多，场地狭窄，采集牛只生物特征受限，环境复杂，导致牛只身份识别精确率不高。
6、(4)现有的牛只照相身份识别方法通过照相获取牛只脸部的局部生物特征，难以获得具有代表性的牛只生物特征信息，可能导致牛只身份识别率下降的问题。
技术实现思路
1、针对现有技术的不足，本发明提供了一种基于多模态决策层融合的牛只身份识别方法，该方法在养殖场牛只饮水和采食场景下，将采集的牛只的多个生物特征进行融合，以弥补单一生物特征(单模态)可能存在的局限性，降低误识率，提高识别的准确性和普适性，能够有效解决现有技术中涉及的上述问题。
2、为实现以上目的，本发明通过以下技术方案予以实现。
3、本发明提供了一种基于多模态决策层融合的牛只身份识别方法，包括以下步骤：
4、s1、数据采集设备采集牛只面部生物特征信息；
5、s2、对所述牛只面部生物特征信息进行预处理，确定牛只标准照，并建立牛只面部信息数据集；
6、s3、利用牛只面部数据集对单模态识别模型进行并行训练，提取特征向量；
7、s4、将特征向量做特殊编码处理，作为决策层的输入；
8、s5、决策层融合算法采用基学习器以及集成学习方法的组合进行实验对比，选取最优作为牛只身份识别模型，输出决策层融合算法产生的唯一牛id，记为idfinal；
9、s6、部署牛只身份识别模型对牛群进行监测，识别牛只id。
10、优选地，所述步骤s1中，包括如下步骤：
11、s10，确定目标牛只以及采集场景，所述采集场景为养殖场牛只饮水和/或采食场景，更优选的，对养殖场中所有的牛只进行信息采集；
12、s11，位于饮水槽和/或料槽前端，定点架设所述数据采集设备，采集所述牛只面部生物特征信息；更优选地，所述数据采集设备为具有旋转功能的高清摄像机，对牛只面部生物特征信息进行全景式采集。
13、优选地，所述步骤s11中，所述高清摄像机为海康威视3t26wdv3-l 4mm摄像机。
14、优选地，所述步骤s2中，包括如下步骤：
15、s21、将数据采集设备采集的牛只面部生物特征信息的视频传入后台系统，先做预处理，视频会被分解成一系列连续的图像帧，每一帧都代表了视频中的一个时间点，通常以每秒帧数(fps)来衡量；更优选的，所述牛只面部生物特征信息包括牛脸、牛鼻镜纹和牛耳标三部分特征；
16、s22、通过solo算法对所述图像帧进行实例分割成三部分，形成牛脸(去除背景)、牛鼻镜纹和牛耳标；
17、s23、从s21中的图像帧中确定牛只标准照，并根据s22的实例分割结果，按照牛脸、牛鼻镜纹和牛耳标分别建立牛只面部信息数据集。
18、优选地，所述步骤s3中，包括如下步骤：
19、s31、采用facenet神经网络模型，从牛只面部信息数据集中选择牛脸图片作为模型输入，采用深度卷积网络模型inceptionresnetv1作为主干网络，进行模型训练，提取得到牛脸的特征向量。其中，在单模态的训练过程中，使用了三元损失(triplet loss)，通过最小化同一牛只面部特征向量之间的距离，并最大化不同牛只面部特征向量之间的距离，来优化模型的区分能力；
20、s32、采用facenet神经网络模型，从牛只面部信息数据集中选择牛鼻镜纹图片作为模型输入，采用mobilenetv1作为主干网络，进行模型训练，提取得到牛鼻镜纹的特征向量。其中，在单模态的训练过程中，使用了三元损失(triplet loss)，通过最小化同一牛只面部特征向量之间的距离，并最大化不同牛只面部特征向量之间的距离，来优化模型的区分能力；
21、其中，三元损失采用公式如(1)，
22、
23、其中，n代表样本数，[·]+代表取正值函数，当括号内的值为负数时，取0，否则取该值本身，代表欧几里得距离，f(·)代表网络特征提取函数，分别表示第i个样本的锚点样本、正样本以及负样本，α代表超参数，用于调节正负样本的距离；通过减小锚点样本与正样本之间的距离，并增大锚点样本与负样本之间的距离来训练牛脸和牛鼻镜纹单模态模型，从而使得模型学到的特征向量更加具有辨别力，更准确地识别不同的目标；三元组损失函数可以有效优化特征向量的表示，提升牛脸、牛鼻镜纹识别的准确性和稳定性；
24、s33、采用pp-ocrv4模型，从牛只面部信息数据集中选择牛耳标图片作为模型输入，采用pp-lcnetv3作为骨干网络，进行模型训练，提取得到牛耳标的特征向量；
25、优选地，所述步骤s4中，包括如下步骤：
26、s41，对牛只面部信息数据集中除去牛只标准照的数据，划分为训练集training和测试集testing，优选地，训练集training和测试集testing数据比例为8.5/1.5；
27、s42，将训练集training与牛只标准照进行比对，求解牛脸和/或牛鼻镜纹的欧氏距离；
28、s43，将训练集training与牛只标准照进行比对，求解牛耳标文本相似度；
29、s44，将步骤s3提取的特征向量与求解的欧氏距离、文本相似度数据统一做one-hot编码处理，并作为决策层的输入。
30、优选地，所述步骤s5中，所述基学习器包括决策树、逻辑回归、高斯朴素贝叶斯，所述集成学习方法包括bagging(主要依托于自助采样和偏差-方差分解定理，自助采样是一种从原始样本集中有放回地抽取样本形成新数据集的方法)、boosting(是一种可以用来减小监督式学习中偏差的机器学习算法。它是通过训练多个弱分类器，最后加权组合成一个强分类器)、stacking(是一种集成学习技术，通过元分类器或元回归聚合多个分类或回归模型)、votingclassifier(投票法)。
31、优选地，所述步骤s6中，部署牛只身份识别模型到养殖场中，将养殖场摄像机实时录制的监控牛只的视频画面传输到后台系统，按照上述步骤s2、s3、s4、s5进行处理，识别监控牛只id。
32、本发明的有益效果：
33、本发明提供一种基于多特征决策层融合的牛只身份识别方法，解决了传统单一特征在养殖场环境下识别准确性不足、信息量有限以及对复杂环境适应能力不强等问题。与现有技术相比，本发明在牛只身份识别领域具有明显优势，尤其在识别准确性得到大幅提高，多特征融合消除了误识别率高的隐患。同时信息量得到有效增加，利用了多种生物特征的信息，使识别更为可靠。最后本研究采用集成学习系统，使得识别算法更具鲁棒性，能够在复杂的养殖场环境中保持高效的识别性能。
34、本发明的其他有益效果将在具体实施方式中进一步进行说明。
1.一种基于多模态决策层融合的牛只身份识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的牛只身份识别方法，其特征在于，所述步骤s1中，包括如下步骤：
3.根据权利要求2任一项所述的牛只身份识别方法，其特征在于，所述高清摄像机架设位置在与饮水槽和/或料槽前端的牛只保持2～3米水平距离，所述高清摄像机距离地面高度保持1.0～1.8米，所述高清摄像机安装角度以牛微侧脸方式采集信息，所述牛微侧脸方式采集为高清摄像机安装角度向下倾斜以涵盖整个牛只面部图像。
4.根据权利要求1所述的牛只身份识别方法，其特征在于，所述步骤s2中，包括如下步骤：
5.根据权利要求4所述的牛只身份识别方法，其特征在于，所述步骤s3中，包括如下步骤：
6.根据权利要求5所述的牛只身份识别方法，其特征在于，所述步骤s4中，包括如下步骤：
7.根据权利要求6所述的牛只身份识别方法，其特征在于，所述步骤s42中，求解牛脸和/或牛鼻镜纹的欧氏距离，采用公式(2)，
8.根据权利要求6所述的牛只身份识别方法，其特征在于，所述步骤s44中，所述one-hot编码处理，并作为决策层的输入，定义输入为牛脸、牛鼻镜纹和牛耳标三个独立识别模型给出的top 3预测牛id及其对应的置信度：
9.根据权利要求1～8任一项所述的牛只身份识别方法，其特征在于，所述步骤s5中，所述基学习器包括决策树、逻辑回归、高斯朴素贝叶斯，所述集成学习方法包括bagging、boosting、stacking、votingclassifier。
10.根据权利要求1～8任一项所述的牛只身份识别方法，其特征在于，所述步骤s6中，部署牛只身份识别模型到养殖场中，将养殖场摄像机实时录制的监控牛只的视频画面传输到后台系统，按照上述步骤s2、s3、s4、s5进行处理，识别监控牛只id。
