本公开涉及数据处理,特别是涉及一种水流流速测速方法、光流估计网络训练方法、装置。
背景技术:
1、随着计算机技术的发展,越来越多的领域依靠计算机的计算资源进行预测或者计算。在水文测速领域,在山洪高流速情况下,河道水量调度管理中流速和流量等关键数据显得尤为重要,这些数据为水情掌握、水量调配和灾害防范提供了有效的信息支持。传统的水流流速测量方法,如利用声学多普勒流速剖面仪(adcp)或卫星雷达测速这些测量方式检测范围有限,无法进行大面积部署,而且对于山洪这种危险场景人员难以涉入,难以满足我国水利工程在智能化方向的发展需求。近年来,随着流速检测技术在自动化、现代化和信息化方面的不断发展,针对部分河道的流速在线监测技术逐渐成熟,其应用前景变得明朗。
2、传统的在线监测技术,由于需要准确的对高流速的水流的速度进行估计,由于流速较大,因此传统的在线监测技术会对精度产生较大的影响,不能够准确的计算出水流的流速。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种水流流速测速方法、光流估计网络训练方法、装置。
2、第一方面,本公开提供了一种水流流速测速方法,所述方法包括:
3、获取水流视频中的同一水流的两帧水流图像;
4、确定所述两帧水流图像中的感兴趣区域,其中每一帧水流图像中的感兴趣区域相同;
5、将每一帧水流图像中的感兴趣区域输入至预先训练完成的光流估计网络中,经由所述光流估计网络输出所述两帧水流图像之间的像素位移;其中,所述光流估计网络是对同一水流的两帧水流训练图像进行光流估计,得到前向光流和后向光流,基于所述前向光流、后向光流、以及所述两帧水流训练图像进行溅射处理和双向填洞,生成目标水流训练图像,基于目标水流训练图像和所述前向光流训练得到的;
6、基于所述像素位移和所述两帧水流图像之间的时间,计算所述水流的流速。
7、在其中一个实施例中,所述两帧水流训练图像包括第一水流训练图像和第二水流训练图像;所述基于所述前向光流、后向光流、以及所述两帧水流训练图像进行溅射处理和双向填洞,生成目标水流训练图像,包括:
8、基于所述前向光流、第一水流训练图像和第二水流训练图像进行溅射处理,对第二水流训练图像进行重建;
9、基于所述前向光流、后向光流、第一水流训练图像和重建后的第二水流训练图像进行双向填洞,得到第二目标训练图像;
10、将所述第一水流训练图像中的像素映射到第二目标训练图像中对应的位置,生成第三水流训练图像;
11、基于第一水流训练图像和第三水流训练图像,生成目标水流训练图像。
12、在其中一个实施例中,所述基于所述前向光流、第一水流训练图像和第二水流训练图像进行溅射处理,对第二水流训练图像进行重建,包括:
13、基于所述前向光流、所述第一水流训练图像、所述第二水流训练图像和预设的平滑参数,确定重建权重;
14、基于所述重建权重、所述第一水流训练图像、所述第二水流训练图像,将所述第二水流训练图像进行重建。
15、在其中一个实施例中,所述基于所述前向光流、后向光流、第一水流训练图像和重建后的第二水流训练图像进行双向填洞,得到第二目标训练图像,包括:
16、基于所述前向光流,将所述第一水流训练图像的像素映射到重建后的第二水流训练图像,得到第一映射图像;
17、利用所述后向光流,将所述第一映射图像中的像素映射回所述第一水流训练图像中,得到第二映射图像;
18、确定第一映射图像中的第一空洞信息和第二映射图像中的第二空洞信息;
19、基于所述前向光流和后向光流,对所述第一空洞信息和第二空洞信息进行填充,得到第二目标训练图像。
20、在其中一个实施例中,所述方法还包括:
21、构建第一光流初始估计网络,所述第一光流初始估计网络中包括:特征提取网络、特征匹配网络、预测网络;
22、在所述特征提取网络中加入相对位置编码,并在所述特征匹配网络中加入注意力机制,得到第二光流初始估计网络;
23、利用所述目标水流训练图像和所述前向光流,对所述第二光流初始估计网络进行训练,得到光流估计网络。
24、在其中一个实施例中,所述利用所述目标水流训练图像和所述前向光流,对所述第二光流初始估计网络进行训练,得到光流估计网络,包括:
25、确定训练过程中的第二光流初始估计网络得到的预测光流;
26、基于所述前向光流和预测光流计算端点误差;
27、确定所述预测光流的梯度,基于所述预测光流的梯度、前向光流和预测光流,计算得到光滑性约束结果;
28、基于所述端点误差和光滑性约束结果,计算损失值;
29、基于所述损失值更新所述第二光流初始估计网络的参数,得到光流估计网络。
30、第二方面,本公开还提供了一种光流估计网络训练方法,所述方法包括:
31、至少获取相对应的两帧水流训练图像;
32、对所述两帧水流训练图像进行光流估计,得到前向光流和后向光流;
33、基于所述前向光流、后向光流、以及所述两帧水流训练图像进行溅射处理和双向填洞,生成目标水流训练图像;
34、基于目标水流训练图像和所述前向光流训练第二光流初始估计网络,得到光流估计网络,所述第二光流初始估计网络包括:特征提取网络、特征匹配网络、预测网络;所述特征提取网络中含有相对位置编码,所述特征匹配网络中含有注意力机制。
35、第三方面,本公开还提供了一种水流流速测速装置。所述装置包括:
36、图像获取模块,用于获取水流视频中的同一水流的两帧水流图像;
37、区域确定模块,用于确定所述两帧水流图像中的感兴趣区域,其中每一帧水流图像中的感兴趣区域相同;
38、网络处理模块,用于将每一帧水流图像中的感兴趣区域输入至预先训练完成的光流估计网络中,经由所述光流估计网络输出所述两帧水流图像之间的像素位移;其中,所述光流估计网络是对同一水流的两帧水流训练图像进行光流估计,得到前向光流和后向光流,基于所述前向光流、后向光流、以及所述两帧水流训练图像进行溅射处理和双向填洞,生成目标水流训练图像,基于目标水流训练图像训练得到的;
39、流速计算模块,用于基于所述像素位移和所述两帧水流图像之间的时间,计算所述水流的流速。
40、第四方面,本公开还提供了一种光流估计网络训练装置,所述装置包括:
41、训练图像获取模块,用于至少获取相对应的两帧水流训练图像;
42、光流估计模块,用于对所述两帧水流训练图像进行光流估计,得到前向光流和后向光流;
43、训练数据生成模块,用于基于所述前向光流、后向光流、以及所述两帧水流训练图像进行溅射处理和双向填洞,生成目标水流训练图像;
44、训练模块,用于基于目标水流训练图像和所述前向光流训练第二光流初始估计网络,得到光流估计网络,所述第二光流初始估计网络包括:特征提取网络、特征匹配网络、预测网络;所述特征提取网络中含有相对位置编码,所述特征匹配网络中含有注意力机制。
45、第五方面,本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一方法实施例中的步骤。
46、第六方面,本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法实施例中的步骤。
47、第七方面,本公开还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任一方法实施例中的步骤。
48、上述各实施例中,确定两帧水流图像中的感兴趣区域,利用感兴趣区域进行后续的处理,使得光流估计网络无需针对水流图像所有像素进行处理,仅处理感兴趣区域即可,能够提高处理速度。另外,光流估计网络是使用溅射处理和双向填洞生成的目标水流训练图像训练得到的,溅射处理能够使得图像重建更加自然和连续,双向填洞能够解决图像重建中由于光流不精确或遮挡物导致的空洞问题,因此能够确保训练模型所使用的数据的准确性,从而保证光流估计网络的确定像素位移的准确性。最后利用像素位移和两帧水流图像之间的时间,能够准确的计算出水流的流速。
1.一种水流流速测速方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述两帧水流训练图像包括第一水流训练图像和第二水流训练图像;所述基于所述前向光流、后向光流、以及所述两帧水流训练图像进行溅射处理和双向填洞,生成目标水流训练图像,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述前向光流、第一水流训练图像和第二水流训练图像进行溅射处理,对第二水流训练图像进行重建,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述前向光流、后向光流、第一水流训练图像和重建后的第二水流训练图像进行双向填洞,得到第二目标训练图像,包括:
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述利用所述目标水流训练图像和所述前向光流,对所述第二光流初始估计网络进行训练,得到光流估计网络,包括:
7.一种光流估计网络训练方法,其特征在于,所述方法包括:
8.一种水流流速测速装置,其特征在于,所述装置包括:
9.一种光流估计网络训练装置,其特征在于,所述装置包括:
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。