本发明属于视频图像拼接，具体涉及一种基于描述符匹配的视频图像拼接方法。
背景技术：
1、当今社会，电子技术和多媒体技术得到了快速的进步与发展，视频影响作为一种信息传播的方式，在人们的生产生活当中扮演了重要的角色。然而单个视频获取设备的视野范围相对较小，一般捕获的视场大小一般在60度左右。因此采用多个单个视频获取设备实现图像拼接，可以解决上述单个视频获取设备视场小的缺陷，以得到大视角图像视频。
2、在实现视频图像拼接的现有技术中，有以下几种方法：一种视频图像拼接方法、系统、电子设备及存储介质，基于球形变换的无人机视频图像实时拼接方法，面向铁路货运监控视频的图像拼接及目标检测关键技术研究。虽然这些方法可以实现视频图像拼接功能，但存在以下缺点：第一，未考虑多视频图像拼接过程中时间的一致性问题；第二，在特征匹配时实时性不强，造成误拼接，使得拼接误差较大。
技术实现思路
1、为了解决上述问题，本发明提出了一种基于描述符匹配的视频图像拼接方法，采用无人机搭载两个深度摄像头进行环境信息的采集，设计了一种拼接描述符，利用像素点的灰度值和深度值计算拼接描述符中的值，同时采用分级区域的评分方式对提取的拼接描述符和二级深度摄像头采集的视频图像进行匹配，计算相似分数。本发明能够找到准确的重叠区域，实现视频图像拼接。
2、本发明的技术方案如下：
3、一种基于描述符匹配的视频图像拼接方法，包括如下步骤：
4、步骤1、无人机搭载两个深度摄像头进行环境信息的采集，完成视频图像初始化；
5、步骤2、对两个深度摄像头进行时间戳故障诊断，完成两个深度摄像头的时间戳对齐及矫正；
6、步骤3、设计拼接描述符，从一级深度摄像头采集的一级视频图像中提取拼接描述符；
7、步骤4、设计分级区域评分算法，将提取的拼接描述符和二级深度摄像头采集的二级视频图像进行匹配，计算相似分数，进而得到重叠区域；
8、步骤5、初始化空白图像，完成视频图像拼接。
9、进一步地，所述步骤1中，无人机搭载的两个深度摄像头分为一级深度摄像头和二级深度摄像头，分别采集得到尺寸为480 *640的一级视频图像和二级视频图像，一级深度摄像头和二级深度摄像头的位置固定，且在进行视频采集中存在重叠区域；
10、视频图像初始化过程为：定义一级视频图像中每一个像素点包含环境的深度值为，对视频图像进行灰度化处理后，得到一级视频图像中每个像素点的灰度值为；定义二级视频图像中每一个像素点包含环境的深度值为，对视频图像进行灰度化处理后，得到二级视频图像中每个像素点的灰度值为。
11、进一步地，所述步骤2的具体过程为：
12、步骤2.1、初始化两个深度摄像头的距离和信号传输速度，按照如下公式计算延迟时间：
13、；
14、步骤2.2、一级深度摄像头和二级深度摄像头开机3秒后，同时向对方发射各自的时间戳，并接收对方发送的时间戳信息，按照如下公式计算对齐时间戳：
15、；
16、步骤2.3、将对齐时间戳和当前时间戳进行对比，如果一致，则表明两个深度摄像头的时间戳对齐一致；如果不一致，则以对齐时间戳为准对当前时间戳进行矫正，即将当前时间戳的值均调整为对齐时间戳的值。
17、进一步地，所述步骤3的具体过程为：
18、步骤3.1、提取一级视频图像中的第639列和第640列像素图像，构成拼接描述符；
19、步骤3.2、将拼接描述符分为60个区间，每个区间作为拼接描述符的描述单元，即每个描述单元均为8*2尺寸的子图；
20、步骤3.3、计算每个区间子图像素点的灰度均值和深度均值；第个区间子图像素点的灰度均值和深度均值的计算公式如下，其中，：
21、；
22、；
23、其中，为第个区间子图像素点的灰度均值；为第个区间子图像素点的深度均值；为第个区间子图第个像素点的灰度值；为第个区间子图第个像素点的灰度值；
24、步骤3.4、拼接描述符有60个区间，60个区间对应60个描述单元值，即第个区间对应第个描述单元值；通过和计算拼接描述符的第个描述单元值，具体计算公式如下式所示：
25、。
26、进一步地，所述步骤4的具体过程为：
27、步骤4.1、从一级视频图像提取的拼接描述符需要和二级深度摄像头采集的二级视频图像进行匹配，顺序为从二级视频图像的最左侧依次移动对比，计算相似分数；初始化相似阈值，如果前一个相似分数和后一个相似分数的差大于相似阈值时，则完成初级搜索；
28、步骤4.2、进行二级搜索；假设前一个相似分数的第一列为，为奇数，则将第和第列组成一个新子图，即子图，将拼接描述符和新子图匹配计算相似分数，得到第列的相似分数，比较第列的相似分数和第列的相似分数的大小，如果第列的相似分数大于第列的相似分数，则第列为真实重叠区域的右边界，否则第列为真实重叠区域的右边界；
29、步骤4.3、经过步骤4.1和步骤4.2，得到准确的真实重叠区域的左边界和右边界；具体表达式如下：
30、；
31、；
32、其中，为一级视频图像中第列；为二级视频图像中的第1列；为一级视频图像中第列；为二级视频图像中的第列。
33、进一步地，所述步骤4.2的具体过程为：
34、步骤4.2.1、提取子图的匹配单元；将子图分为60个区间，每个区间作为子图的匹配单元，计算第个区间子图像素点的灰度均值和深度均值，具体计算公式如下：
35、；
36、；
37、其中，为第个区间子图第个像素点的灰度值；为第个区间子图第个像素点的深度值；
38、每个子图有60个区间，60个区间对应60个匹配单元值，即第个区间对应第个匹配单元值；通过和计算子图的第个匹配单元值，具体计算公式如下式所示：
39、；
40、步骤4.2.2、计算拼接描述符描述单元值的平均值和子图匹配单元值的平均值，计算公式如下：
41、；
42、；
43、步骤4.2.3、计算拼接描述符拼接单元和子图匹配单元间的相似分数，计算公式如下式：
44、。
45、进一步地，所述步骤4.2的具体过程为：初始化空白图像的尺寸为；选取全部一级视频图像和二级视频图像中第列至640列的像素点进行拼接，完成图像拼接的任务。
46、本发明所带来的有益技术效果如下。
47、1、本发明在实现视频图像拼接时，固定好两个深度摄像头的位置，针对时间戳进行对齐和矫正，避免在视频图像拼接过程中因时间戳报错造成拼接错误，相比于直接进行视频图像拼接的方法，本发明方案增加时间戳的故障诊断机制，具有更强的兼容性，摆脱深度摄像头对中央控制器的依赖，同时提高视频图像拼接的精准度，降低误差。
48、2、本发明设计了一种拼接描述符，利用像素点的灰度值和深度值计算拼接描述符中的值，相比于采用sift等其他特征进行匹配的方法，本发明方案的特征数量少，计算高效，可以进一步提高视频图像拼接的实时性，提高计算资源的利用率，从而进一步降低硬件成本，经济性高。
49、3、本发明采用分级区域的评分方式对提取的拼接描述符和二级深度摄像头采集的视频图像进行匹配，计算相似分数，相比于其他方法，本发明方案的计算精度更高，可以避免仅一次评分带来的评分误差，从而找到准确的重叠区域，实现视频图像拼接功能。
1.一种基于描述符匹配的视频图像拼接方法，其特征在于，包括如下步骤：
2.根据权利要求1所述基于描述符匹配的视频图像拼接方法，其特征在于，所述步骤1中，无人机搭载的两个深度摄像头分为一级深度摄像头和二级深度摄像头，分别采集得到尺寸为480 *640的一级视频图像和二级视频图像，一级深度摄像头和二级深度摄像头的位置固定，且在进行视频采集中存在重叠区域；
3.根据权利要求1所述基于描述符匹配的视频图像拼接方法，其特征在于，所述步骤2的具体过程为：
4.根据权利要求3所述基于描述符匹配的视频图像拼接方法，其特征在于，所述步骤3的具体过程为：
5.根据权利要求4所述基于描述符匹配的视频图像拼接方法，其特征在于，所述步骤4的具体过程为：
6.根据权利要求5所述基于描述符匹配的视频图像拼接方法，其特征在于，所述步骤4.2的具体过程为：
7.根据权利要求6所述基于描述符匹配的视频图像拼接方法，其特征在于，所述步骤4.2的具体过程为：初始化空白图像的尺寸为；选取全部一级视频图像和二级视频图像中第列至640列的像素点进行拼接，完成图像拼接的任务。
