本发明涉及图像拼接,尤其涉及一种用于大场景监控下的相机分布式在线融合拼接方法。
背景技术:
1、随着科技的飞速发展,视频监控系统在安保、监控、智能交通等众多领域发挥着日益重要的作用。这些系统不仅要求能够实时监控和记录广泛的场景信息,还对视频画面的清晰度、视野范围以及拼接效果提出了更高的要求,多路摄像头视频拼接技术作为提升监控性能的关键手段,其重要性不言而喻。
2、传统的视频拼接方法在大场景监控中面临诸多挑战,一方面,仅依赖长焦相机进行拼接虽然能够在一定程度上保证关键区域的清晰度,但受限于长焦相机的视野范围较小,往往无法覆盖整个监控区域,且需要多个长焦相机之间存在较高的重合度,对摄像机的位置摆放提出了严格的要求,增加了系统部署的复杂性和成本,另一方面,虽然短焦全景相机能够提供较大的视野范围,但由于其成像特性,往往难以在关键区域保持足够的清晰度,难以满足高精度监控的需求。
3、因此,有必要提供一种用于大场景监控下的相机分布式在线融合拼接方法解决上述技术问题。
技术实现思路
1、为解决上述技术问题,本发明提供一种用于大场景监控下的相机分布式在线融合拼接方法,通过结合短焦全景相机和多个长焦相机的优势,实现了大视野与高清晰度的双重保障。
2、本发明提供了一种用于大场景监控下的相机分布式在线融合拼接方法,配置有用于采集全景图像的短焦相机和多个长焦相机,所述多个长焦相机分别用于采集所述全景图像内的局部图像,通过所述拼接方法将所有局部图像融合至全景图像,以生成既全面又细节丰富的全景画面;
3、具体地,所述拼接方法包括以下步骤:
4、s1:对相应的长焦图像进行裁剪,确定各长焦图像在所述全景图像中的待拼接区域,并获取所述待拼接区域在各自长焦图像中的第一区域坐标;
5、s2:基于各长焦相机与所述全景相机的相对位置关系,以及所述第一区域坐标计算并确定所述待拼接区域在所述全景图像中的第二区域坐标;
6、s3:基于所述第一区域坐标和所述第二区域坐标建立坐标点对关系,并基于所述坐标点对关系对计算变换矩阵,其中,所述变换矩阵用于表征将长焦图像中的待拼接区域变换到全景图像中;
7、s4:基于所述变换矩阵对所有待拼接区域进行图像变换,得到多个变换图像;
8、s5:将各变换图像按照对应的第二区域坐标融入全景图像,实现长焦图像在大场景监控中的融合拼接,生成既全面又细节丰富的全景画面。
9、优选的,步骤s2包括以下步骤:
10、s21:读取各长焦相机和全景相机的相对位置关系,所述相对位置关系包括各自在三维空间中的坐标、朝向以及相机内参;
11、s22:基于读取的坐标、朝向以及相机内参建立统一的坐标系,所述坐标系用于表征各长焦相机和全景相机的相对位置;
12、s23:基于统一的坐标系,利用长焦相机的内参,以及长焦相机与全景相机的相对位置,确定长焦相机视场与全景图像间的映射关系;
13、s24:基于所述映射关系,计算各长焦图像中的待拼接区域在全景图像中对应的第二区域坐标。
14、优选的,步骤s3包括以下步骤:
15、s31:将每个长焦图像的待拼接区域的第一区域坐标与其在全景图像中的第二区域坐标进行匹配,生成坐标点对关系,所述坐标点对关系包括一一对应的坐标点对集合;
16、s32:基于一一对应的坐标点对集合,通过最小二乘法计算变换矩阵。
17、优选的,在步骤s3中,所述变换矩阵的计算公式为:
18、
19、其中,(x,y)为变换前的坐标,(u,v)为变换后坐标,h为单应性矩阵,表示为:
20、
21、优选的,步骤s4包括以下步骤:
22、s41:遍历所有长焦图像中的待拼接区域,并根据对应的第一区域坐标从长焦图像中裁剪出相应的图像块;
23、s42:对每个裁剪出的图像块应用计算得到的变换矩阵;
24、s43:将变换处理的图像块保存为变换图像,并将所有生成的变换图像按照对应的第二区域坐标进行排序。
25、优选的,步骤s5包括以下步骤:
26、s51:对所有变换图像进行颜色校正,并构建颜色校正后的变换图像在所述全景图像融合的mask;
27、s52:并利用高斯滤波器对mask进行边缘模糊;
28、s53:使用基于mask的权重融合方法将变换图像叠加至全景图像中完成融合拼接。
29、优选的,在步骤s51中,所述对所有变换图像进行颜色校正,包括将变换后的长焦图像的颜色向全景图像中对应区域的颜色校正,其中,颜色校正的计算公式为:
30、c=(l1-m1)×(s2/s1)+m2
31、其中,c为颜色校正后图像,l1为校正图像,m1和m2分别为校正图像和目标图像颜色均值,s1和s2分别为校正图像和目标图像的颜色标准差。
32、与相关技术相比较,本发明提供的一种用于大场景监控下的相机分布式在线融合拼接方法具有如下有益效果:
33、本发明通过结合短焦全景相机和多个长焦相机的优势,实现了大视野与高清晰度的双重保障,具体而言,该方法利用短焦相机采集全景图像,确保整体视野的覆盖;同时,通过多个长焦相机采集全景图像内的局部关键区域,以保证这些区域的清晰度,通过精细的裁剪、坐标映射、图像变换和融合拼接等步骤,将长焦相机的局部图像无缝融入全景图像中,最终生成既全面又细节丰富的全景画面,本申请的拼接方法不仅解决了传统拼接方法中存在的视野与清晰度之间的矛盾,还提高了大场景监控的效率和效果。
1.一种用于大场景监控下的相机分布式在线融合拼接方法,其特征在于,配置有用于采集全景图像的短焦相机和多个长焦相机,所述多个长焦相机分别用于采集所述全景图像内的局部图像,通过所述拼接方法将所有局部图像融合至全景图像,以生成既全面又细节丰富的全景画面;
2.根据权利要求1所述的一种用于大场景监控下的相机分布式在线融合拼接方法,其特征在于,步骤s2包括以下步骤:
3.根据权利要求2所述的一种用于大场景监控下的相机分布式在线融合拼接方法,其特征在于,步骤s3包括以下步骤:
4.根据权利要求3所述的一种用于大场景监控下的相机分布式在线融合拼接方法,其特征在于,在步骤s3中,所述变换矩阵的计算公式为:
5.根据权利要求4所述的一种用于大场景监控下的相机分布式在线融合拼接方法,其特征在于,步骤s4包括以下步骤:
6.根据权利要求5所述的一种用于大场景监控下的相机分布式在线融合拼接方法,其特征在于,步骤s5包括以下步骤:
7.根据权利要求6所述的一种用于大场景监控下的相机分布式在线融合拼接方法,其特征在于,在步骤s51中,所述对所有变换图像进行颜色校正,包括将变换后的长焦图像的颜色向全景图像中对应区域的颜色校正,其中,颜色校正的计算公式为: