本发明属于雷达技术和深度学习，具体涉及一种基于transformer架构的多传感器智能融合多目标跟踪方法。
背景技术：
1、多目标跟踪技术(mtt)指的是使用可能包含噪声的传感器量测数据去连续估计多个动态目标随时间变化的位置和运动状态。解决mtt问题的方法取决于它们是否在基于模型或无模型的环境中运行，基于模型的贝叶斯方法在已知精确的多目标模型且观测结果由低维、单个目标检测组成的情况下，可实现最先进的性能(sota)。mtt有三种主要的基于贝叶斯滤波的解决方案，分别是联合概率数据关联滤波器(jpdaf)，多假设跟踪(mht)和随机有限集(rfs)方法。在jpdaf和mht中，核心思想是首先解决传感器量测数据和目标航迹之间的数据关联问题，然后应用现有的滤波方法进行跟踪。相比之下，rfs方法提供了一种同时解决跟踪和关联问题的整体方法，代表性的例子包括pmbm滤波器和glmb滤波器，两者都利用rfs框架来解决跟踪问题，实现了出色的性能。
2、单个传感器对单一目标进行状态估计，而这样的结构虽然能实现对动态目标的最优或次优估计，但抗干扰能力不强，鲁棒性较差；于是，使用多个传感器对同一目标进行融合状态估计的思路逐渐成为研究热点。现有的多传感器目标融合跟踪方法根据传感器之间共享信息的类型可以分为两类：特征级和决策级。前者主要致力于计算精确的多传感器似然概率/后验概率，它通常采用集中式传感器网络，将所有传感器的量测值发送到融合中心进行联合，以实现最优融合。这就要求每个传感器都与一个中心节点进行通信，需要很高的计算、存储和通信能力，同时表现出较弱的容错能力。相反，决策级融合的是由本地滤波器产生的后验估计。这种方法通常以分布式方式实现，提供了更好的计算可扩展性和可靠性。协方差交叉融合(ci)和算术平均融合(aa)是分布式融合中广泛采用的两种融合规则。例如，ci融合规则可以融合由不同但不一定独立的传感器产生的未知相关估计，以避免融合中信息的重复计算。在实际应用中，融合节点通常无法确定其信息与其他传感器节点接收到的信息之间的相关性，不同传感器节点之间的独立性假设在大多数现实问题中不适用，因此ci融合规则用于融合本地传感器节点提供的一阶和二阶统计量以获得融合的mtt结果。
3、近年来，基于深度学习的mtt算法已经成为传统贝叶斯方法的有吸引力的替代品，通常通过最小化标记数据集上的经验风险来优化具有大量参数的模型。文献“nextgeneration multitarget trackers：random finite set methods vs transformer-based deep learning，in proc.int.conf.inform.fusion.ieee，2021，pp.1-8”提出了一种基于transformer架构的高性能、特定类型的mtt神经网络，称为multitarget trackingtransformer(mt3)。文献“deep learning for model-based multi-object tracking，ieee transactions on aerospace and electronic systems，2023”提出了mt3 v2算法，即在原mt3算法输出的基础上，增加了不确定度的输出，这进一步为使用深度学习方法进行多传感器融合带来机会。然而，mt3 v2算法不能实现连续预测，只能实现单帧目标状态估计结果的融合。文献“transformer based online continuous multi-target trackingwith state regression，in 2023 12th international conference on control，automation and information sciences(iccais).ieee，2023，pp.393-398”解决了连续目标跟踪的问题，提出了一种sr-mt3方法，该方法通过递归状态自回归查询的方式实现在线连续的目标跟踪。单个传感器对单一目标进行状态估计的结构虽然能实现对动态目标的最优或次优估计，但抗干扰能力不强，鲁棒性较差。目前，还没有研究可以使用深度学习方法实现连续的、稳健的多传感器融合目标跟踪，而上述研究进展为多传感器智能融合多目标跟踪方法提供了可能性。
技术实现思路
1、为解决上述技术问题，本发明提供了一种基于transformer架构的多传感器智能融合多目标跟踪方法(tmshf)，结合特征级融合的最优融合思想与决策级融合易于扩展且稳定可靠的优点，从数据驱动的角度出发，跳出传统融合方法单单依靠特征级融合或决策级融合的限制，创新的实现了对不同传感器信息的深度利用，形成了一种特征级与决策级混合的多传感器融合架构，实现了对多目标的高精度连续跟踪融合任务。
2、本发明采用的技术方案为：一种基于transformer架构的多传感器智能融合多目标跟踪方法，具体步骤如下：
3、s1、设计雷达仿真数据生成多传感器二维量测，进行数据预处理，并划分为网络模型的训练集与测试集；
4、s2、构建tmshf网络模型，包括：单传感器跟踪模块与多传感器混合融合模块；
5、s3、设计损失函数，并将步骤s1中得到的多传感器二维量测训练集输入到步骤s2构建好的tmshf网络模型中，进行网络模型训练；
6、s4、将步骤s1中得到的多传感器二维量测测试集输入步骤s3训练好的tmshf网络模型中，输出深度融合后的多目标的测试跟踪结果并评估。
7、进一步地，所述步骤s1具体如下：
8、首先通过标准的状态方程和量测方程生成大量雷达仿真数据作为深度学习网络的数据集。把目标运动近似为匀速运动，目标i在第t帧处的状态向量为目标i在第t-1帧处的状态向量为则运动状态方程表达式如下：
9、
10、其中，ft表示状态转移矩阵；wt-1表示过程噪声矩阵，过程噪声为均值为零的高斯噪声，协方差为qt-1。
11、在二维场景中，协方差矩阵qt-1表达式如下：
12、
13、其中，分别表示目标i在第t帧处的x轴位置、y轴位置，分别表示目标i在第t帧处的x方向速度、y方向速度；qs表示过程噪声方差，t表示传感器采样周期，i2表示二阶单位矩阵，表示克罗内克积。
14、新目标根据泊松点过程到达，出生强度为λb，表示第t帧所有目标状态的集合。
15、设定一组具有相同视场fov的传感器检测同一组目标，然后使用一个模拟传感器，在二维笛卡尔坐标系中生成量测值，且每个存在的目标最多只能产生一个真实量测，则由传感器s捕获的实际测量值的观测方程表达式如下：
16、
17、其中，表示目标i在第t帧处由传感器s得到的量测值，表示传感器s的均值为零的量测噪声，方差为hs表示传感器s的量测矩阵，表达式如下：
18、
19、杂波量测根据强度为的泊松点过程到达，独立于现有目标或真实量测，第t帧中的所有量测值的集合表达式如下：
20、
21、其中，表示第t帧中传感器s产生的杂波的集合。
22、最后进行数据预处理，首先将多个传感器的二维量测分别在视场范围下归一化，然后使用线性层将直角坐标系量测提取到高维特征向量。根据实际情况仿真生成量测数据并划分为训练集、测试集，训练集用于对网络模型的训练，测试集用于对训练好的tmshf模型进行测试，得到跟踪融合结果。
23、进一步地，所述步骤s2具体如下：
24、tmshf网络模型包括：单传感器跟踪模块、多传感器混合融合模块。
25、其中，所述单传感器跟踪模块包括：一个用于分析目标运动状态信息的编码器；一个用于解析并预测目标状态的解码器以及状态回归机制。
26、首先，编码器分析目标的运动状态信息，将量测编码为高维特征向量，状态回归机制通过上一帧预测的输出，得到新出生查询、自回归查询、掩码。最后将新出生查询、自回归查询、掩码以及由编码器得到的高维特征向量共同输入解码器，来预测当前帧的目标状态，得到预测状态输出。
27、所述多传感器混合融合模块包括：多目标分布式ci融合算法mdci模块及混合融合网络模块hfn。
28、使用多目标分布式ci融合规则对多个局部传感器的解码器预测状态输出进行初步融合，作为决策级信息。最终，将决策级信息和特征级信息分别作为嵌入和查询一起输入到融合解码器中，得到深度融合后的目标预测状态及不确定度。
29、在单传感器跟踪任务中，专注于多目标的状态估计问题，对于当前第t帧的状态估计，使用上一帧的状态估计和传感器s过去的时间步长τ直到当前帧t的量测序列由传感器s检测得到τ中的每个量测值，并以随机顺序收集到量测序列中，表达式如下：
30、
31、其中，
32、
33、其中，表示目标i在第t帧处由传感器s得到的量测值，同时带有时间信息t,[·]′表示矩阵转置运算，表示由传感器s在第t帧中检测到的量测值的数量，表示量测k的x和y轴坐标。
34、则传感器s在上一帧中估计的目标状态表达式如下：
35、
36、其中，表示传感器s在最后一帧中估计的目标数量，表示估计目标i的坐标，表示估计目标k协方差的标准差。
37、每个传感器执行单传感器跟踪任务的结果是当前帧中目标的一组估计状态和标准偏差，表达式如下：
38、
39、采用一种特征级融合和决策级融合相结合的混合融合方法，用于特征级融合的来自所有传感器的量测值表达式如下：
40、
41、其中，s表示特征级融合中涉及的传感器的数量。
42、对于决策级融合，来自单个传感器跟踪的所有估计状态被用作输入，表达式如下：
43、
44、其中，表示传感器s在第t帧中估计的目标数量。
45、多传感器融合任务的结果是一组融合的估计状态和标准偏差，表达式如下：
46、
47、其中，表示融合后估计目标的数量；上标f表示融合(fusion)后。
48、每个传感器进行预测，输入transformer编码器转换为嵌入然后，与查询一起被馈送到transformer解码器，产生估计状态
49、其中，估计状态的副本由状态回归机制处理，并在下一帧中递归地作为查询返回给解码器。另一个副本与其他传感器的输出一起被收集到集合中，作为多个传感器输出的集合。
50、多目标分布式协方差交叉(mdci)融合算法利用估计状态集进行初步融合，生成查询序列并发送至融合解码器，这些查询和s个传感器嵌入的级联一同输入融合解码器，由融合解码器变换为最终的融合估计
51、其中，nc表示mdci后的目标个数，nf表示混合融合后的目标个数。
52、进一步地，所述步骤s2中，所述单传感器跟踪模块具体如下：
53、所述单传感器跟踪模块即单传感器sr-mt3跟踪模块，使用sr-mt3的网络框架进行单传感器跟踪。
54、单传感器跟踪模块的输出由两种类型的查询转换而来，包括：k个新生查询，它允许模型为上一帧中不存在的目标初始化轨迹；k个自回归查询，负责跟踪前一帧存在的轨迹。
55、其中，k表示与目标的最大数目相等的预定值。解码器查询o1:2k由新生查询n1:k与自回归查询r1:k在k的维度相结合得到，以共同预测当前帧的目标状态。
56、当目标数量未达到查询数量时，采用基于存在概率的掩码机制，构建状态回归模块产生新生查询n1:k，自回归查询r1:k，掩码m1:2k，形成一种全新的状态回归查询，具体如下：
57、(1)通过新生查询实现跟踪初始化；
58、每个嵌入使用静态和学习的目标编码初始化，当前帧中出现的新目标由固定数量的k个输出嵌入检测。在迭代过程中，每次输入解码器的新生查询均由n1:k表示。
59、(2)自回归查询在跟踪过程中迭代；
60、首先从最后一帧的存在概率pt-1,1:2k中选择k个最高存在概率然后选择具有相应top-k存在概率的状态作为查询的候选表达式如下：
61、
62、其中，表示序列的长度为非负整数k，且r＝argsort(pt-1,1:2k)，argsort表示一个函数，返回根据存在概率对输入数组进行排序的索引；rl即得到相应top-k存在概率的索引，表示根据索引rl从中选择到的查询候选。
63、根据视场范围进行归一化后，将选择的序列馈送到前馈神经网络层，进行非线性映射和特征提取，为解码器产生查询r1:k，表达式如下：
64、
65、其中，每个元素表示实数域，且d′＞dz表示一个超参数，dz表示量测维度。
66、(3)基于掩码的存在概率实现跟踪终止；
67、采用一种基于存在概率的掩码机制，根据top-k机制选择k个最高存在概率然后将其提供给线性层以计算存在阈值gt，表达式如下：
68、
69、其中，表示可学习参数。由于和是一一对应的，所以掩码mi可以根据gt计算，表达式如下：
70、
71、其中，表示中的第l个的概率；表示序列的长度为非负整数2k；且新生查询没有相应的存在概率，它们的掩码总是为false。
72、进一步地，所述步骤s2中，所述多传感器混合融合模块具体如下：
73、多传感器融合模块由多目标分布式ci融合算法(mdci)和混合融合网络(hfn)结合构成。
74、(1)设计mdci；
75、mdci用于初步决策融合和生成融合解码器的查询。在解码器的总输出中，存在杂波和来自不同传感器的针对不同目标的量测。比较不同量测之间的距离和距离阈值δ，将来自不同传感器的针对同一目标的量测分组，若距离大于阈值，则将两个量测值区分为不同的目标。若距离小于阈值，则将两个量测结果分类为一个目标。
76、在对量测值进行分类后，采用现有ci融合规则对同一目标的估计值进行融合。最后，融合后的结果表达式如下：
77、
78、其中，表示第i个目标通过mdci后的x-y轴位置融合结果，表示第i个目标经过mdci后的x-y轴位置不确定度。
79、(2)设计hfn；
80、hfn用于执行混合融合任务。在单个传感器跟踪过程中，由每个传感器检测到的量测的特征由编码器提取到嵌入中。hfn通过连接这些嵌入来执行特征融合，表达式如下：
81、
82、其中，ms表示传感器s的量测数目，concat表示一种将一组列表首尾相连的算法，表示融合解码器的嵌入序列，mc表示融合解码器嵌入序列的长度。
83、决策融合首先由mdci处理生成初步融合结果通过fov参数来归一化在中的状态然后与协方差一起输入到前馈神经网络ffn，形成融合解码器查询序列表达式如下：
84、
85、其中，nc表示在mdci处理之后的现有目标的数量。
86、最终，来自所有传感器的量测的特征和估计的结果分别存储在嵌入序列和查询序列中。融合解码器执行混合融合并将它们变换为融合估计并输出一系列对应的存在概率确定估计是否有效，中对应的存在概率大于概率阈值g的估计将被选入最终的融合估计中，表达式如下：
87、
88、其中，ε(·)表示阶跃函数。
89、进一步地，所述步骤s3具体如下：
90、将最终融合估计指定为虚拟传感器0：的输出，则传感器标签变为s∈[0,s]。
91、估计值表示ns分量多伯努利mb密度的参数，每个估计值的构造组成为分别表示高斯分布的均值和协方差参数，以及与伯努利分量相关联的存在概率。使用来自所有传感器的预测结果与地面真实值之间负对数似然nll损失来进行监督，表达式如下：
92、
93、其中，表示在处计算的由定义的多伯努利密度。
94、通过附加个元素来扩展序列产生具有相同个数元素的新序列则将负对数似然(25)近似为：
95、
96、其中，σ表示置换函数，被定义为σ:nl表示新序列的长度；表示新序列的第σ(i)个元素。表示指定的伯努利密度在的第σ(i)个元素处求值，它的负对数计算公式如下：
97、
98、最后，σs表示目标与针对传感器s预测的伯努利分量之间的最可能关联，近似表达式如下：
99、
100、其中，表示目标与传感器s预测的伯努利分量之间的一种关联分数，的有效计算通过匈牙利算法实现，表达式如下：
101、
102、整个网络模型的训练过程分为前向传播和反向传播，通过步骤s1获取大量训练集数据输入网络模型，同时利用损失函数不断修正各单元权重。
103、进一步地，所述步骤s4具体如下：
104、经过步骤s3，完成了对tmshf网络的训练。然后将步骤s1生成的测试数据集输入训练好的网络模型，得到预测结果。使用最优子模式分配度量来评估模型的性能，具体如下：
105、
106、dc(x,y)＝min{c,d(x,y)} (32)
107、其中，dp,c表示ospa误差，表示预测结果，表示真实值，γ表示式(31)对应的一种赋值集合；p表示距离敏感性参数，c表示一个截断距离的参数，即目标状态估计误差阈值，用于调节集合势的估计误差和位置误差之间的比重；d(·)表示求距离的函数。
108、本发明的有益效果：本发明的方法首先设计并获取雷达仿真数据，生成多传感器的二维量测数据，然后将多传感器的量测数据进行预处理并提取高维向量信息后输入构建好的tmshf网络模型中，进行网络模型训练，最后将测试数据输入训练好的网络模型中，得到多目标的多传感器智能跟踪融合结果。本发明的方法结合特征级融合的最优融合思想与决策级融合易于扩展且稳定可靠的优点，从数据驱动的角度出发，跳出现有融合方法单单依靠特征级融合或决策级融合的限制，实现对多个局部传感器信息的深度利用，形成一种特征级与决策级混合的多传感器融合架构，实现了对多目标的高精度连续跟踪融合任务，拥有高精度、连续性、稳健性以及可扩展性好、通信要求低等优点，可应用在自动驾驶及交通管控等领域。
1.一种基于transformer架构的多传感器智能融合多目标跟踪方法，具体步骤如下：
2.根据权利要求1所述的一种基于transformer架构的多传感器智能融合多目标跟踪方法，其特征在于，所述步骤s1具体如下：
3.根据权利要求1所述的一种基于transformer架构的多传感器智能融合多目标跟踪方法，其特征在于，所述步骤s2具体如下：
4.根据权利要求3所述的一种基于transformer架构的多传感器智能融合多目标跟踪方法，其特征在于，所述步骤s2中，所述单传感器跟踪模块具体如下：
5.根据权利要求3所述的一种基于transformer架构的多传感器智能融合多目标跟踪方法，其特征在于，所述步骤s2中，所述多传感器混合融合模块具体如下：
6.根据权利要求1所述的一种基于transformer架构的多传感器智能融合多目标跟踪方法，其特征在于，所述步骤s3具体如下：
7.根据权利要求1所述的一种基于transformer架构的多传感器智能融合多目标跟踪方法，其特征在于，所述步骤s4具体如下：
