本技术涉及吊装路径规划，具体而言，涉及一种吊装路径规划模型构建方法及系统。
背景技术：
1、在使用多用途重吊船进行钻井平台、机车及火车车厢、风电设备、桥吊、成套设备等超长、超重、超大件以及有特殊运载和装卸要求的重大件货物时，需要通过双克令吊联动完成货物的装卸。重大件装卸危险性高，克令吊负荷高，装载过程需要通过较大的空间范围，对船舶的稳性影响大，容易与船上固定物体、船上其他货物、克令吊等发生碰撞。因此，对重大件的装卸路径有着很高的要求。
2、基于此，为了保证吊装过程的安全，目前亟需一种吊装路径规划模型构建方法及系统。
技术实现思路
1、本技术实施例提供了一种吊装路径规划模型构建方法及系统，以解决上述技术问题。
2、本技术提供了一种吊装路径规划模型构建方法，包括：
3、采集历史货物装卸任务数据以及障碍物的历史状态信息；其中，所述历史货物装卸任务数据包括货物的起点数据以及落点数据；
4、获取执行历史货物装卸任务过程中，第一克令吊在四个自由度上的第一作业数据；其中，所述四个自由度包括起升、变幅、回转以及伸缩；
5、获取执行历史货物装卸任务过程中，第二克令吊在所述四个自由度上的第二作业数据；
6、其中，所述第一克令吊的第一钩头绑定在货物的第一吊点，所述第二克令吊的第二钩头绑定在货物的第二吊点；所述第一克令吊通过第一钢丝绳连接所述第一钩头，所述第二克令吊通过第二钢丝绳连接所述第二钩头；所述第一克令吊和所述第二克令吊均分布在船左舷，所述第一克令吊和所述第二克令吊基于预设通信方式建立有同步数据通信连接；
7、根据所述起点数据、所述落点数据、所述第一作业数据以及所述第二作业数据，构建吊装路径规划模型；其中，所述吊装路径规划模型用于对所述第一克令吊以及所述第二克令吊二者的协同吊装路径进行规划；所述吊装路径规划模型基于深度强化学习网络搭建。
8、进一步地，所述对所述第一克令吊以及所述第二克令吊二者的协同吊装路径进行规划，包括：对所述第一克令吊以及所述第二克令吊二者的回转顺序、回转角度、主臂变幅角度、吊钩升降长度以及跨距调整动作进行规划；所述根据所述起点数据、所述落点数据、所述第一作业数据以及所述第二作业数据，构建吊装路径规划模型，包括：
9、根据自由度的类型，将所述第一作业数据以及所述第二作业数据划分为第一子训练样本、第二子训练样本、第三子训练样本以及第四子训练样本；
10、将所述起点数据、所述落点数据、所述第一子训练样本与所述第二子训练样本第输入至第一深度强化学习网络中进行交叉训练；
11、将所述起点数据、所述落点数据、所述第三子训练样本与所述第四子训练样本第输入至第二深度强化学习网络中进行交叉训练；
12、基于训练后的所述第一深度强化学习网络与训练后的所述第二深度强化学习网络，确定吊装路径规划模型；
13、其中，所述第一深度强化学习网络以及所述第二深度强化学习网络均基于自注意力机制构建。
14、进一步地，所述第一深度强化学习网络包括第一行为网络、第一评价网络和第一策略网络；所述第一行为网络包括第一编码器、第一解码器和第一注意力层；所述将所述起点数据、所述落点数据、所述第一子训练样本与所述第二子训练样本第输入至第一深度强化学习网络中进行交叉训练，包括：
15、初始化所述第一深度强化学习网络的网络参数；
16、利用所述第一深度强化学习网络构建第一奖励函数；其中，所述第一奖励函数用于评价所述第一子训练样本与所述第二子训练样本中回转顺序的质量、回转角度的质量、主臂变幅角度的质量、吊钩升降长度的质量以及跨距调整动作的质量；
17、在第一选定环境中，利用所述第一子训练样本与所述第二子训练样本对所述第一深度强化学习网络进行多个回合的训练，并记录每个回合中的动作值、状态值和奖励值，构成第一回合反馈集合；
18、其中，所述第一深度强化学习网络的输出为采取的行为的概率分布；当货物靠近所述障碍物或与所述障碍物碰撞时，产生的奖励值降低；其中，所述障碍物包括船体、舱盖、船上货物、岸吊、叉车以及集装箱；
19、按照第一预设折扣因子，根据所述第一回合反馈集合中每个回合的奖励值计算第一总奖励值；
20、根据所述第一总奖励值更新所述第一深度强化学习网络的网络参数，运用更新后的第一深度强化学习网络进行下一轮的迭代运算，直至所述第一深度强化学习网络的策略评价函数收敛。
21、进一步地，所述第二深度强化学习网络包括第二行为网络、第二评价网络和第二策略网络；所述第二行为网络包括第二编码器、第二解码器和第二注意力层；所述将所述起点数据、所述落点数据、所述第三子训练样本与所述第四子训练样本第输入至第二深度强化学习网络中进行交叉训练，包括：
22、初始化所述第二深度强化学习网络的网络参数；
23、利用所述第二深度强化学习网络构建第二奖励函数；其中，所述第二奖励函数用于评价所述第三子训练样本与所述第四子训练样本中回转顺序的质量、回转角度的质量、主臂变幅角度的质量、吊钩升降长度的质量以及跨距调整动作的质量；
24、在第二选定环境中，利用所述第三子训练样本与所述第四子训练样本对所述第二深度强化学习网络进行多个回合的训练，并记录每个回合中的动作值、状态值和奖励值，构成第二回合反馈集合；
25、其中，所述第二深度强化学习网络的输出为采取的行为的概率分布；当货物靠近所述障碍物或与所述障碍物碰撞时，产生的奖励值降低；其中，所述障碍物包括船体、舱盖、船上货物、岸吊、叉车以及集装箱；
26、按照第二预设折扣因子，根据所述第二回合反馈集合中每个回合的奖励值计算第二总奖励值；
27、根据所述第二总奖励值更新所述第二深度强化学习网络的网络参数，运用更新后的第二深度强化学习网络进行下一轮的迭代运算，直至所述第二深度强化学习网络的策略评价函数收敛。
28、进一步地，所述根据自由度的类型，将所述第一作业数据以及所述第二作业数据划分为第一子训练样本、第二子训练样本、第三子训练样本以及第四子训练样本，包括：
29、从所述第一作业数据以及所述第二作业数据中筛选出与所述起升相关的数据，并作为所述第一子训练样本；其中，所述起升表示由所述第一克令吊的所述第一钢丝绳以及所述第二克令吊的所述第二钢丝绳二者操作的对吊钩的上升与下降的控制；
30、从所述第一作业数据以及所述第二作业数据中筛选出与所述变幅相关的数据，并作为所述第二子训练样本；其中，所述变幅表示由所述第一克令吊的所述第一钢丝绳以及所述第二克令吊的所述第二钢丝绳二者操作的对吊臂的俯仰角度的控制；
31、从所述第一作业数据以及所述第二作业数据中筛选出与所述回转相关的数据，并作为所述第三子训练样本；其中，所述回转表示对所述吊臂在水平面内旋转的控制；
32、从所述第一作业数据以及所述第二作业数据中筛选出与所述伸缩相关的数据，并作为所述第四子训练样本；其中，所述伸缩表示对所述第一克令吊的第一伸缩臂和所述第二克令吊的第二伸缩臂二者的长度的控制。
33、进一步地，在执行所述历史货物装卸任务过程中，所述第一克令吊和所述第二克令吊之间的跨距小于跨距阈值，所述第一克令吊的吊索和所述第二克令吊的吊索处于垂直状态；其中，所述跨距阈值基于负荷-跨距曲线确定。
34、本技术提供了一种吊装路径规划模型构建系统，包括第一历史数据获取单元、第二历史数据获取单元、第三历史数据获取单元以及吊装路径规划模型构建单元；其中，
35、所述第一历史数据获取单元，用于采集历史货物装卸任务数据以及障碍物的历史状态信息；其中，所述历史货物装卸任务数据包括货物的起点数据以及落点数据；
36、所述第二历史数据获取单元，用于获取执行历史货物装卸任务过程中，第一克令吊在四个自由度上的第一作业数据；其中，所述四个自由度包括起升、变幅、回转以及伸缩；
37、所述第三历史数据获取单元，用于获取执行历史货物装卸任务过程中，第二克令吊在所述四个自由度上的第二作业数据；其中，所述第一克令吊的第一钩头绑定在货物的第一吊点，所述第二克令吊的第二钩头绑定在货物的第二吊点；所述第一克令吊通过第一钢丝绳连接所述第一钩头，所述第二克令吊通过第二钢丝绳连接所述第二钩头；所述第一克令吊和所述第二克令吊均分布在船左舷，所述第一克令吊和所述第二克令吊基于预设通信方式建立有同步数据通信连接；
38、所述吊装路径规划模型构建单元，用于根据所述起点数据、所述落点数据、所述第一作业数据以及所述第二作业数据，构建吊装路径规划模型；其中，所述吊装路径规划模型用于对所述第一克令吊以及所述第二克令吊二者的协同吊装路径进行规划；所述吊装路径规划模型基于深度强化学习网络搭建。
39、进一步地，所述对所述第一克令吊以及所述第二克令吊二者的协同吊装路径进行规划，包括：对所述第一克令吊以及所述第二克令吊二者的回转顺序、回转角度、主臂变幅角度、吊钩升降长度以及跨距调整动作进行规划；所述根据所述起点数据、所述落点数据、所述第一作业数据以及所述第二作业数据，构建吊装路径规划模型，包括：
40、根据自由度的类型，将所述第一作业数据以及所述第二作业数据划分为第一子训练样本、第二子训练样本、第三子训练样本以及第四子训练样本；
41、将所述起点数据、所述落点数据、所述第一子训练样本与所述第二子训练样本第输入至第一深度强化学习网络中进行交叉训练；
42、将所述起点数据、所述落点数据、所述第三子训练样本与所述第四子训练样本第输入至第二深度强化学习网络中进行交叉训练；
43、基于训练后的所述第一深度强化学习网络与训练后的所述第二深度强化学习网络，确定吊装路径规划模型。
44、进一步地，所述根据自由度的类型，将所述第一作业数据以及所述第二作业数据划分为第一子训练样本、第二子训练样本、第三子训练样本以及第四子训练样本，包括：
45、从所述第一作业数据以及所述第二作业数据中筛选出与所述起升相关的数据，并作为所述第一子训练样本；其中，所述起升表示由所述第一克令吊的所述第一钢丝绳以及所述第二克令吊的所述第二钢丝绳二者操作的对吊钩的上升与下降的控制；
46、从所述第一作业数据以及所述第二作业数据中筛选出与所述变幅相关的数据，并作为所述第二子训练样本；其中，所述变幅表示由所述第一克令吊的所述第一钢丝绳以及所述第二克令吊的所述第二钢丝绳二者操作的对吊臂的俯仰角度的控制；
47、从所述第一作业数据以及所述第二作业数据中筛选出与所述回转相关的数据，并作为所述第三子训练样本；其中，所述回转表示对所述吊臂在水平面内旋转的控制；
48、从所述第一作业数据以及所述第二作业数据中筛选出与所述伸缩相关的数据，并作为所述第四子训练样本；其中，所述伸缩表示对所述第一克令吊的第一伸缩臂和所述第二克令吊的第二伸缩臂二者的长度的控制。
49、进一步地，在执行所述历史货物装卸任务过程中，所述第一克令吊和所述第二克令吊之间的跨距小于跨距阈值，所述第一克令吊的吊索和所述第二克令吊的吊索处于垂直状态；其中，所述跨距阈值基于负荷-跨距曲线确定。
50、基于本技术提供的实施例，采集历史货物装卸任务数据以及障碍物的历史状态信息；其中，历史货物装卸任务数据包括货物的起点数据以及落点数据；获取执行历史货物装卸任务过程中，第一克令吊在四个自由度上的第一作业数据；其中，四个自由度包括起升、变幅、回转以及伸缩；获取执行历史货物装卸任务过程中，第二克令吊在四个自由度上的第二作业数据；根据起点数据、落点数据、第一作业数据以及第二作业数据，构建吊装路径规划模型；其中，吊装路径规划模型用于对第一克令吊以及第二克令吊二者的协同吊装路径进行规划；吊装路径规划模型基于深度强化学习网络搭建。从而实现了对货物，特别是重大件，进行装载路径规划的准确性、科学性，保证吊装过程的安全，提高操吊手操作的稳定性。具体来讲，具有以下有益效果：提升作业安全性：通过分析历史数据，可以识别潜在的风险和障碍物的常规行为模式，从而在规划吊装路径时避开这些风险点，确保作业安全；优化作业效率：历史数据的采集可以帮助理解货物装卸的常见模式和障碍物出现频率，进而优化作业流程，减少作业时间，提高装卸效率；支持决策制定：详细的历史数据为管理者提供了决策支持，通过分析这些数据，可以更好地安排货物的装卸顺序和作业计划；强化模型训练：在构建吊装路径规划模型时，历史作业数据可以用来训练和验证模型，提高模型的准确性和鲁棒性；促进协同作业：对于涉及多个克令吊的协同作业，历史数据的分析有助于理解不同设备间的相互作用，优化多设备协同作业的路径规划；提高路径规划的实时性：深度强化学习网络的引入，使得吊装路径规划模型能够实现快速响应环境变化，及时更新路径规划，满足实时性要求；增强模型的泛化能力：深度强化学习网络的强泛化性能，使得模型不仅适用于静态环境，也能适应未知环境和动态环境的路径规划；解决奖励稀疏问题：通过新的奖励函数，提高了模型在面对稀疏奖励时的学习效率和规划路径的最优性；减少规划时间：相较于传统规划算法，基于深度强化学习的路径规划方法减少了规划时间，提高了效率，这对于克令吊在实际作业中的快速响应尤为重要；提升规划路径质量：通过深度强化学习模型的优化，可以获得更高质量的吊装路径，减少与最优路径之间的差距，提高克令吊作业的精度和可靠性。
1.一种吊装路径规划模型构建方法，其特征在于，包括：
2.根据权利要求1所述的吊装路径规划模型构建方法，其特征在于，所述对所述第一克令吊以及所述第二克令吊二者的协同吊装路径进行规划，包括：对所述第一克令吊以及所述第二克令吊二者的回转顺序、回转角度、主臂变幅角度、吊钩升降长度以及跨距调整动作进行规划；所述根据所述起点数据、所述落点数据、所述第一作业数据以及所述第二作业数据，构建吊装路径规划模型，包括：
3.根据权利要求2所述的吊装路径规划模型构建方法，其特征在于，所述第一深度强化学习网络包括第一行为网络、第一评价网络和第一策略网络；所述第一行为网络包括第一编码器、第一解码器和第一注意力层；所述将所述起点数据、所述落点数据、所述第一子训练样本与所述第二子训练样本第输入至第一深度强化学习网络中进行交叉训练，包括：
4.根据权利要求2所述的吊装路径规划模型构建方法，其特征在于，所述第二深度强化学习网络包括第二行为网络、第二评价网络和第二策略网络；所述第二行为网络包括第二编码器、第二解码器和第二注意力层；所述将所述起点数据、所述落点数据、所述第三子训练样本与所述第四子训练样本第输入至第二深度强化学习网络中进行交叉训练，包括：
5.根据权利要求2所述的吊装路径规划模型构建方法，其特征在于，所述根据自由度的类型，将所述第一作业数据以及所述第二作业数据划分为第一子训练样本、第二子训练样本、第三子训练样本以及第四子训练样本，包括：
6.根据权利要求1所述的吊装路径规划模型构建方法，其特征在于，
7.一种吊装路径规划模型系统，其特征在于，包括第一历史数据获取单元、第二历史数据获取单元、第三历史数据获取单元以及吊装路径规划模型构建单元；其中，
8.根据权利要求7所述的吊装路径规划模型系统，其特征在于，所述对所述第一克令吊以及所述第二克令吊二者的协同吊装路径进行规划，包括：对所述第一克令吊以及所述第二克令吊二者的回转顺序、回转角度、主臂变幅角度、吊钩升降长度以及跨距调整动作进行规划；所述根据所述起点数据、所述落点数据、所述第一作业数据以及所述第二作业数据，构建吊装路径规划模型，包括：
9.根据权利要求8所述的吊装路径规划模型系统，其特征在于，所述根据自由度的类型，将所述第一作业数据以及所述第二作业数据划分为第一子训练样本、第二子训练样本、第三子训练样本以及第四子训练样本，包括：
10.根据权利要求7所述的吊装路径规划模型系统，其特征在于，
