本技术涉及船舶轨迹预测,特别是涉及一种终点驱动的船舶轨迹预测方法、装置、设备及介质。
背景技术:
1、预测船舶在中长距时间范围内的大致方向和位置是多种应用的核心,包括但不限于搜索与救援、交通控制、轨迹规划、港口拥堵避免、污染监测等。
2、但船舶轨迹预测方法存在较大的阻力,首先由于海面的宽阔性以及外部环境的复杂性(风速和天气条件等),船舶的未来轨迹展现出多模态性,即在未来一段时间内船舶的运动线路有着多种可能。其次,由于船舶数据在不同的地理区域和环境条件下表现出显著的非均匀性,这种差异会对轨迹预测性能产生负面影响,从而限制了船舶轨迹模型在更广泛应用中的有效性。
3、基于此,亟需一种新的船舶轨迹预测方法用于对船舶轨迹进行预测。
技术实现思路
1、本技术提供一种终点驱动的船舶轨迹预测方法、装置、设备及介质,以解决现有船舶轨迹预测方法存在的上述问题。
2、在本技术实施例第一方面提供一种终点驱动的船舶轨迹预测方法,所述方法包括:
3、获取待预测场景图像以及该场景下的目标船舶的历史船舶轨迹;
4、从所述待预测场景图像中进行特征提取,得到待预测场景下的场景语义特征;
5、根据所述历史船舶轨迹和所述场景语义特征进行终点预测,得到所述目标船舶的预测终点和预测终点特征;
6、根据所述历史船舶轨迹和所述预测终点特征对所述目标船舶的轨迹进行预测,得到所述目标船舶到达所述预测终点的未来轨迹。
7、在本技术可选的一实施例中,从所述待预测场景图像中进行特征提取,得到待预测场景下的场景语义特征是通过语义特征编码器实现的,所述语义特征编码器以visiontransformer网络作为骨干网络,所述vision transformer网络是通过以学生网络和教师网络进行自监督对比学习的方式训练得到的;
8、通过将所述待预测场景图像输入至所述vision transformer网络中,对所述待预测场景图像中的语义信息进行分割,得到分类结果作为所述场景语义特征。
9、在本技术可选的一实施例中,根据所述历史船舶轨迹和所述场景语义特征进行终点预测,得到所述目标船舶的预测终点和预测终点特征是通过终点预测网络实现的,所述终点预测网络包括语义特征编码器、轨迹编码器、拼接模块和终点生成模块,所述终点生成模块包括终点编码器、中间特征处理模块和终点解码器;
10、根据所述历史船舶轨迹和所述场景语义特征进行终点预测,得到所述目标船舶的预测终点和预测终点特征,包括:
11、将所述待预测场景图像输入至所述语义特征编码器进行处理,得到场景语义特征;
12、将所述历史船舶轨迹输入至所述轨迹编码器进行处理,得到历史船舶轨迹特征;
13、将所述场景语义特征和所述历史船舶轨迹输入至所述拼接模块进行拼接,得到拼接特征;
14、将所述拼接特征输入至所述终点生成模块中的所述终点编码器进行处理,将终点编码器的结果输入至所述中间特征处理模块进行处理,将中间特征处理模块的结果输入至所述终点解码器中进行解码处理,得到所述预测终点和所述预测终点特征。
15、在本技术可选的一实施例中,通过轨迹生成网络得到所述目标船舶到达所述预测终点的未来轨迹,所述轨迹生成网络包括图卷积神经网络和transformer结构,所述transformer结构包括self-attention层、feedforward层和cross-attention层,cross-attention层位于self-attention层和feedforward层之间;
16、根据所述历史船舶轨迹和所述预测终点特征对所述目标船舶的轨迹进行预测,得到所述目标船舶到达所述预测终点的未来轨迹,包括:
17、采用所述图卷积神经网络对所述历史船舶轨迹中目标船舶的轨迹特征进行提取,得到所述目标船舶的轨迹特征;
18、将所述目标船舶的轨迹特征输入至所述self-attention层中,得到第一辅助特征;
19、将所述第一辅助特征和所述预测终点特征输入至所述cross-attention层中,得到第二辅助特征;
20、将所述第二辅助特征输入至所述feedforward层,进行非线性变换处理,得到所述目标船舶的多个多模态预测轨迹;
21、从所述目标船舶的多个多模态预测轨迹中确定最终的预测轨迹,作为所述目标船舶到达所述预测终点的未来轨迹。
22、在本技术可选的一实施例中,从所述目标船舶的多个多模态预测轨迹中确定最终的预测轨迹,作为所述目标船舶到达所述预测终点的未来轨迹,包括:
23、获取每个多模态预测轨迹对应的概率值;
24、将生成的多个多模态轨迹输入到k-means聚类算法中,根据每个多模态预测轨迹的最终位置将相应的多模态预测轨迹划分为预先设定的估计数量的簇;
25、在每个簇中,选择概率值最高的多模态预测轨迹作为所述目标船舶到达所述预测终点的未来轨迹。
26、在本技术可选的一实施例中,所述方法是通过预先训练的轨迹预测模型,对所述待预测场景图像和所述历史船舶轨迹进行处理,基于所述预测终点预测出目标船舶的未来一段时间内的船舶轨迹的,所述轨迹预测模型包括:语义特征编码器、轨迹特征编码器、拼接模块、终点生成网络和轨迹生成网络,所述轨迹生成网络包括图卷积神经网络和transformer网络结构,所述transformer网络结构包括self-attention层、feedforward层和cross-attention层。
27、在本技术可选的一实施例中,所述轨迹预测模型的训练过程包括:
28、将多个历史船舶轨迹样本和相应的场景图像样本输入待训练的轨迹预测模型中,通过待训练的轨迹生成网络中的轨迹特征提取模块得到多个预测轨迹特征,以及,通过待训练的轨迹生成网络中的轨迹预测模块得到多个预测轨迹;
29、采用待训练的全连接网络对所述多个预测轨迹特征进行分类,得到多个轨迹类别;
30、采用主成分分析法对所述多个预测轨迹特征进行降维处理,并对降维处理后的多个预测轨迹特征进行标准化处理,对标准化处理后的多个预测轨迹特征进行聚类,将聚类结果作为所述多个预测轨迹特征的伪类别标签;
31、基于所述多个预测轨迹特征的伪类别标签和所述多个轨迹类别,计算轨迹特征损失,基于所述多个预测轨迹和对应的多个真实轨迹计算轨迹损失;
32、基于所述轨迹特征损失和所述轨迹损失,对所述待训练的全连接网络和所述待训练的轨迹生成网络进行更新,得到训练完毕的轨迹生成网络;
33、冻结训练完毕的轨迹生成网络的模型参数,基于多个历史船舶轨迹样本和相应的场景图像样本,对所述待训练的轨迹预测模型中的语义特征编码器、轨迹特征编码器、拼接模块和终点生成网络进行训练,得到训练完毕的轨迹预测模型。
34、在本技术实施例第二方面提供一种终点驱动的船舶轨迹预测装置,所述装置包括:
35、获取模块,用于获取待预测场景图像以及该场景下的目标船舶的历史船舶轨迹;
36、特征提取模块,用于从所述待预测场景图像中进行特征提取,得到待预测场景下的场景语义特征;
37、终点预测模块,用于根据所述历史船舶轨迹和所述场景语义特征进行终点预测,得到所述目标船舶的预测终点和预测终点特征;
38、轨迹预测模块,用于根据所述历史船舶轨迹和所述预测终点特征对所述目标船舶的轨迹进行预测,得到所述目标船舶到达所述预测终点的未来轨迹。
39、在本技术实施例第三方面提出一种电子设备,包括存储器、处理器及存储在所述存储器上的计算机程序,所述处理器执行所述计算机程序以实现上述第一方面中任一项所述的终点驱动的船舶轨迹预测方法。
40、在本技术实施例第四方面提出一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面中任一项所述的终点驱动的船舶轨迹预测方法。
41、本技术包括以下优点:本技术提供一种终点驱动的船舶轨迹预测方法、装置、设备及介质,通过获取待预测场景图像以及该场景下的目标船舶的历史船舶轨迹;从所述待预测场景图像中进行特征提取,得到待预测场景下的场景语义特征;根据所述历史船舶轨迹和所述场景语义特征进行终点预测,得到所述目标船舶的预测终点和预测终点特征;根据所述历史船舶轨迹和所述预测终点特征对所述目标船舶的轨迹进行预测,得到所述目标船舶到达所述预测终点的未来轨迹。基于终点驱动的轨迹预测方法能够更好地处理多模态性和多船舶之间的相互作用,提高了轨迹预测的鲁棒性和适应性,使得模型更能理解并预测船舶的行为,从而在复杂的场景中更为可靠地进行轨迹预测。
1.一种终点驱动的船舶轨迹预测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的终点驱动的船舶轨迹预测方法,其特征在于,从所述待预测场景图像中进行特征提取,得到待预测场景下的场景语义特征是通过语义特征编码器实现的,所述语义特征编码器以vision transformer网络作为骨干网络,所述visiontransformer网络是通过以学生网络和教师网络进行自监督对比学习的方式训练得到的;
3.根据权利要求1所述的终点驱动的船舶轨迹预测方法,其特征在于,根据所述历史船舶轨迹和所述场景语义特征进行终点预测,得到所述目标船舶的预测终点和预测终点特征是通过终点预测网络实现的,所述终点预测网络包括语义特征编码器、轨迹编码器、拼接模块和终点生成模块,所述终点生成模块包括终点编码器、中间特征处理模块和终点解码器;
4.根据权利要求1所述的终点驱动的船舶轨迹预测方法,其特征在于,通过轨迹生成网络得到所述目标船舶到达所述预测终点的未来轨迹,所述轨迹生成网络包括图卷积神经网络和transformer结构,所述transformer结构包括self-attention层、feedforward层和cross-attention层,cross-attention层位于self-attention层和feedforward层之间;
5.根据权利要求4所述的终点驱动的船舶轨迹预测方法,其特征在于,从所述目标船舶的多个多模态预测轨迹中确定最终的预测轨迹,作为所述目标船舶到达所述预测终点的未来轨迹,包括:
6.根据权利要求1所述的终点驱动的船舶轨迹预测方法,其特征在于,所述方法是通过预先训练的轨迹预测模型,对所述待预测场景图像和所述历史船舶轨迹进行处理,基于所述预测终点预测出目标船舶的未来一段时间内的船舶轨迹的,所述轨迹预测模型包括:语义特征编码器、轨迹特征编码器、拼接模块、终点生成网络和轨迹生成网络,所述轨迹生成网络包括图卷积神经网络和transformer网络结构,所述transformer网络结构包括self-attention层、feedforward层和cross-attention层。
7.根据权利要求6所述的终点驱动的船舶轨迹预测方法,其特征在于,所述轨迹预测模型的训练过程包括:
8.一种终点驱动的船舶轨迹预测装置,其特征在于,所述装置包括:
9.一种电子设备,包括存储器、处理器及存储在所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的终点驱动的船舶轨迹预测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述的终点驱动的船舶轨迹预测方法。