本发明涉及智能机器人，尤其涉及一种基于多模态信息融合与学徒学习的装配机器人系统及方法。
背景技术：
1、机器人既是先进制造业的关键支撑装备，也是改善人类生活方式的重要切入点。在当今的工业生产领域，自动化装配线的普及极大地提高了生产效率和产品质量。然而，传统的工业机器人在装配线上执行任务时，仍面临着一些技术挑战，限制了其应用范围和效率的进一步提升。
2、传统的工业机器人通常通过示教方法来学习任务，这要求技术人员亲自引导机器人完成动作。这个过程不仅耗时费力，而且在复杂任务的情况下，操作人员的操作水平很大会影响装配精度。更重要的是，这种控制过程与生产任务高度耦合，导致机器人通常只能执行预编程的动作，缺乏灵活性，难以处理新的或非标准的装配需求。尽管拖动示教在某些情况下可以提升编程效率，但它并没有使机器人真正具备识别工件的精确位置的能力。因此，如果工件发生移动，机器人仍旧会沿预设路径操作，这会对操作的精确性和生产效率产生负面影响。
3、针对上述现状，研发能够快速学习复杂技能、自主规划装配路径并适应多变装配对象的新一代智能装配机器人技术成为迫切需求。
技术实现思路
1、本发明的目的在于提供一种基于多模态信息融合与学徒学习的装配机器人系统及方法，解决了传统的工业机器人学习复杂技能困难、应对未知装配对象适应性差、人工示教依赖性强的问题。
2、为实现上述目的，本发明提供了一种基于多模态信息融合与学徒学习方法，机器人装备的传感器网络在生产时已部署完毕，演示者熟悉该装配任务所需技能，深度学习网络已在装配机器人出厂时预训练并部署好，包括以下步骤：
3、s101：明确示教任务的装配目标和具体要求，分析所需的装配技能；
4、s102：演示者通过肢体动作演示装配过程，传感器网络记录演示者的动作信息；
5、s103：通过多模态信息融合算法对传感器网络获取的多模态数据进行融合；
6、s104：机器人自主决策、规划复杂装配的路线；
7、s105：机器人执行装配任务，验证学习效果；
8、s106：机器人将所学技能应用到实际生产中，实现自主规划装配过程。
9、其中，明确示教任务的装配目标和具体要求，分析所需的装配技能，所述步骤还包括：
10、(1)确定需要装配的产品或组件的设计规格、材料、尺寸和功能要求；
11、(2)明确所有需要组装的部件的形状、大小和相互之间的关系；
12、(3)确定部件的组装顺序；
13、(4)根据生产效率的需求，确定装配过程的最佳速度。
14、其中，演示者通过肢体动作演示装配过程，传感器网络记录演示者的动作信息，所述步骤还包括：
15、演示者佩戴捕捉工具，捕捉演示者手上的力反馈数据，并使用深度相机录制演示者通过肢体动作演示的复杂装配过程。
16、其中，通过多模态信息融合算法对传感器网络获取的多模态数据进行融合，所述步骤还包括：
17、(1)采集演示者装配演示过程中的力反馈数据、彩色视频数据和深度视频数据；
18、(2)对采集到的数据进行去噪和归一化处理，其中，使用小波变换的方法对力反馈数据进行去噪处理，使用高斯滤波方法对彩色视频数据和深度视频数据进行去噪，去噪之后，进行归一化处理，将数据缩放到一个统一的范围；
19、(3)对处理后的彩色视频数据和深度视频数据分别进行特征提取，然后将两种模态的特征直接进行拼接，对力反馈数据进行特征提取，最后使用多模态融合模块对视频特征和力反馈特征进行融合。
20、其中，机器人自主决策、规划复杂装配的路线，所述步骤还包括：
21、(1)通过6d位姿估计算法，精确估计目标物体的空间位置和方向；
22、(2)进行机器人运动路径规划；
23、(3)建立机器人的运动学模型，计算机器人关节的旋转量，确保机器人能够到达目标物体的精确位置；
24、(4)构建深度卷积神经网络，计算配件的抓取点、角度和宽度等位置信息；
25、(5)校验抓取点、抓取力度；
26、(6)机器人机械臂移动到被装配物体位置；
27、(7)机器人自主学习零配件装配关系；
28、(8)计算零件与配件的偏差来自主规划匹配方式，实现准确匹配。
29、其中，通过6d位姿估计算法，精确估计目标物体的空间位置和方向，所述步骤还包括：
30、①使用尺度不变特征转换算法，对视频中的每一帧进行特征提取；
31、②在连续的视频帧之间进行特征匹配，跟踪物体的运动，然后利用特征匹配结果，估计物体在视频帧之间的运动；
32、③构建语义分割模型；
33、④构建位姿估计网络，计算出除背景外的每个物体的位置参数、旋转参数和置信度参数。
34、其中，机器人执行装配任务，验证学习效果，所述步骤还包括：
35、(1)在模拟环境中进行训练，以减少实际装配中可能出现的错误和风险；
36、(2)机器人在实际环境中首次执行装配任务，进行初步尝试；
37、(3)在机器人执行任务时，密切监控其性能，包括准确性、速度和稳定性；
38、(4)收集机器人执行任务时的数据；
39、(5)如果机器人的表现未达到预期，诊断问题所在；
40、(6)根据评估结果调整机器人的学习算法，进行迭代优化。
41、基于多模态信息融合与学徒学习的装配机器人系统，包括彩色视频帧编码器、深度视频帧编码器、视频数据融合模块、力反馈数据编码器和多模态特征融合模块；
42、所述彩色视频帧编码器和所述深度视频帧编码器分别与所述视频数据融合模块连接；所述多模态特征融合模块分别与所述力反馈数据编码器和所述视频数据融合模块连接。
43、本发明的一种基于多模态信息融合与学徒学习的装配机器人系统及方法，确定示教任务，包括装配任务的具体目标和要求，演示者通过肢体动作演示装配过程，传感器记录演示者的动作信息，通过多模态信息融合算法，对传感器网络获取的多模态数据进行融合，构建对环境和动作的统一感知，通过机器人自主规划方法，机器人自主学习相关信息，包括位姿估计、语义分割、路径规划、建立运动学模型、抓取方法、使用工具、装配关系等等，机器人执行装配任务，验证学习效果，机器人将所学技能应用到实际生产中，实现自主规划装配过程。针对新的任务或环境，机器人可以快速学习和适应。在本发明中，机器人能够主动识别出工件的精确位置并对其进行操作，显著地提高了机器人对复杂装配技能的学习速度和精度，降低对人力的依赖。增强机器人在非结构化环境中的适应性和自主性，提高装配任务的成功率和效率。通过智能规划与自主调整，有效应对装配过程中的不确定性，提升整体装配系统的智能化水平。促进智能装配技术的发展，为制造业转型升级提供关键技术支撑。
1.基于多模态信息融合与学徒学习方法，机器人装备的传感器网络在生产时已部署完毕，演示者熟悉该装配任务所需技能，深度学习网络已在装配机器人出厂时预训练并部署好，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多模态信息融合与学徒学习方法，其特征在于，明确示教任务的装配目标和具体要求，分析所需的装配技能，所述步骤还包括：
3.如权利要求1所述的基于多模态信息融合与学徒学习方法，其特征在于，演示者通过肢体动作演示装配过程，传感器网络记录演示者的动作信息，所述步骤还包括：
4.如权利要求3所述的基于多模态信息融合与学徒学习方法，其特征在于，通过多模态信息融合算法对传感器网络获取的多模态数据进行融合，所述步骤还包括：
5.如权利要求4所述的基于多模态信息融合与学徒学习方法，其特征在于，机器人自主决策、规划复杂装配的路线，所述步骤还包括：
6.如权利要求5所述的基于多模态信息融合与学徒学习方法，其特征在于，通过6d位姿估计算法，精确估计目标物体的空间位置和方向，所述步骤还包括：
7.如权利要求1所述的基于多模态信息融合与学徒学习方法，其特征在于，机器人执行装配任务，验证学习效果，所述步骤还包括：
8.基于多模态信息融合与学徒学习的装配机器人系统，适用于如权利要求1至权利要求7任意一项所述的基于多模态信息融合与学徒学习方法，其特征在于，
