本技术涉及图像转换,特别是涉及一种基于扩散模型的遥感影像生成在线地图方法、装置、设备和介质。
背景技术:
1、由于遥感图像具有适应性强、成本低等特点,基于遥感图像生成在线地图已得到广泛应用。在深度学习发展之前,传统的地图制作方法需要人工获取矢量数据,费力费时。特别是在火灾、地震、海啸等突发事件中,地图更新可能不够及时。因此,开发一种能在紧急情况下快速生成准确地图的方法具有重要意义。
2、现有的一些研究利用域映射的思想来实现端到端的遥感图像到地图的转换(rsmt)。虽然这些方法在在线地图生成方面效果显著、效率较高,但生成的在线地图仍在一定程度上存在地物失真和边界不准确的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够生成精准地图的同时高效率的基于扩散模型的遥感影像生成在线地图方法、装置、设备和介质。
2、一种基于扩散模型的遥感影像生成在线地图方法,所述方法包括:
3、获取样本图像数据集,所述样本图像数据集中包括多组样本图像对,各组所述样本图像对中包括遥感样本图像以及对应的网络地图;
4、对各组样本图像对中的遥感样本图像进行几何变换得到多张不同的变换样本图像,将多张变换样本图像增添至对应的样本图像对中得到训练数据组,根据多个所述训练数据组构建得到训练数据集;
5、采用所述训练数据集对在线地图生成模型进行训练,得到训练好的在线地图生成模型,所述在线地图生成模型中包括感知图像压缩网络以及去噪扩散桥网络,由所述感知图像压缩网络中的编码器将遥感样本图像以及对应的变换样本图像从像素空间映射到特征空间,所述去噪扩散桥网络在特征空间进行向前扩散以及反向去噪,再由所述感知图像压缩网络中的解码器将去噪扩散桥网络的输出从特征空间映射至像素空间;
6、获取实时遥感图像,将所述实时遥感图像输入至训练好的在线地图生成模型,得到实时网络地图。
7、在其中一实施例中,在对所述在线地图生成模型进行训练时,所述去噪扩散桥网络中以所述遥感样本图像作为向前扩散的终点,即反向去噪的起点。
8、在其中一实施例中,在对所述在线地图生成模型进行训练时:
9、由所述感知图像压缩网络中的编码器分别将所述遥感样本图像和对应的多张变换样本图像映射至特征空间,得到遥感样本特征图以及多张变换样本特征图;
10、利用所述去噪扩散桥网络分别根据所述遥感样本特征图以及多张变换样本特征图,在对应网络地图的引导下,得到特征空间的预测网络地图以及多张预测变换网络地图;
11、再由所述感知图像压缩网络中的解码器分别将所述特征空间的预测网络地图以及多张预测变换网络地图映射至像素空间,得到像素空间的预测网络地图以及多张预测变换网络地图;
12、对所述像素空间的预测网络地图进行几何变换,得到与各张预测变换网络地图变换方式一致的变换预测网络地图;
13、根据多张预测变换网络地图以及多张变换预测网络地图进行计算变换一致性正则化损失函数,根据计算结果对所述在线地图生成模型中的参数进行调整,直至收敛,得到训练好的在线地图生成模型。
14、在其中一实施例中,在对所述在线地图生成模型进行训练时;
15、所述感知图像压缩网络以及去噪扩散桥网络均包括处理所述遥感样本图像和变换样本图像的两个单元;
16、所述感知图像压缩网络包括处理所述遥感样本图像的第一压缩单元,以及处理多张所述变换样本图像的第二压缩单元;
17、所述去噪扩散桥网络包括处理所述遥感样本图像的第一扩散单元,以及处理多张所述变换样本图像的第二扩散单元,所述第一扩散单元和第二扩散单元的参数共享。
18、在其中一实施例中,所述训练好的在线地图生成模型由第一压缩单元和第一扩散单元构成。
19、在其中一实施例中,在对所述遥感样本图像进行几何变换得到多张不同的变换样本图像时,分别对所述遥感图像进行旋转、剪裁以及翻转变换。
20、在其中一实施例中,所述在线地图生成模型中感知图像压缩网络采用预训练的向量量化生成对抗网络。
21、本技术还提供了一种基于扩散模型的遥感影像生成在线地图装置,所述装置包括:
22、样本数据集获取模块,用于获取样本图像数据集,所述样本图像数据集中包括多组样本图像对,各组所述样本图像对中包括遥感样本图像以及对应的网络地图;
23、训练数据集构建模块,用于对各组样本图像对中的遥感样本图像进行几何变换得到多张不同的变换样本图像,将多张变换样本图像增添至对应的样本图像对中得到训练数据组,根据多个所述训练数据组构建得到训练数据集;
24、模型训练模块,用于采用所述训练数据集对在线地图生成模型进行训练,得到训练好的在线地图生成模型,所述在线地图生成模型中包括感知图像压缩网络以及去噪扩散桥网络,由所述感知图像压缩网络中的编码器将遥感样本图像以及对应的变换样本图像从像素空间映射到特征空间,所述去噪扩散桥网络在特征空间进行向前扩散以及反向去噪,再由所述感知图像压缩网络中的解码器将去噪扩散桥网络的输出从特征空间映射至像素空间;
25、在线地图生成模块,用于获取实时遥感图像,将所述实时遥感图像输入至训练好的在线地图生成模型,得到实时网络地图。
26、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
27、获取样本图像数据集,所述样本图像数据集中包括多组样本图像对,各组所述样本图像对中包括遥感样本图像以及对应的网络地图;
28、对各组样本图像对中的遥感样本图像进行几何变换得到多张不同的变换样本图像,将多张变换样本图像增添至对应的样本图像对中得到训练数据组,根据多个所述训练数据组构建得到训练数据集;
29、采用所述训练数据集对在线地图生成模型进行训练,得到训练好的在线地图生成模型,所述在线地图生成模型中包括感知图像压缩网络以及去噪扩散桥网络,由所述感知图像压缩网络中的编码器将遥感样本图像以及对应的变换样本图像从像素空间映射到特征空间,所述去噪扩散桥网络在特征空间进行向前扩散以及反向去噪,再由所述感知图像压缩网络中的解码器将去噪扩散桥网络的输出从特征空间映射至像素空间;
30、获取实时遥感图像,将所述实时遥感图像输入至训练好的在线地图生成模型,得到实时网络地图。
31、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
32、获取样本图像数据集,所述样本图像数据集中包括多组样本图像对,各组所述样本图像对中包括遥感样本图像以及对应的网络地图;
33、对各组样本图像对中的遥感样本图像进行几何变换得到多张不同的变换样本图像,将多张变换样本图像增添至对应的样本图像对中得到训练数据组,根据多个所述训练数据组构建得到训练数据集;
34、采用所述训练数据集对在线地图生成模型进行训练,得到训练好的在线地图生成模型,所述在线地图生成模型中包括感知图像压缩网络以及去噪扩散桥网络,由所述感知图像压缩网络中的编码器将遥感样本图像以及对应的变换样本图像从像素空间映射到特征空间,所述去噪扩散桥网络在特征空间进行向前扩散以及反向去噪,再由所述感知图像压缩网络中的解码器将去噪扩散桥网络的输出从特征空间映射至像素空间;
35、获取实时遥感图像,将所述实时遥感图像输入至训练好的在线地图生成模型,得到实时网络地图。
36、上述遥感影像生成在线地图方法、装置、设备和介质,通过对各组样本图像对中的遥感样本图像进行几何变换得到多张不同的变换样本图像,将多张变换样本图像增添至对应的样本图像对中得到训练数据组,根据多个训练数据组构建得到训练数据集,采用训练数据集对在线地图生成模型进行训练,得到训练好的在线地图生成模型,由感知图像压缩网络中的编码器将遥感样本图像以及对应的变换样本图像从像素空间映射到特征空间,去噪扩散桥网络在特征空间进行向前扩散以及反向去噪,再由感知图像压缩网络中的解码器将去噪扩散桥网络的输出从特征空间映射至像素空间,将实时遥感图像输入至训练好的在线地图生成模型,得到实时网络地图。采用本方法可以实时的生成边界更清晰、颜色更鲜艳的地图。
1.一种基于扩散模型的遥感影像生成在线地图方法,其特征在于,所述方法包括:
2.根据权利要求1所述的遥感影像生成在线地图方法,其特征在于,在对所述在线地图生成模型进行训练时,所述去噪扩散桥网络中以所述遥感样本图像作为向前扩散的终点,即反向去噪的起点。
3.根据权利要求2所述的遥感影像生成在线地图方法,其特征在于,在对所述在线地图生成模型进行训练时:
4.根据权利要求3所述的遥感影像生成在线地图方法,其特征在于,在对所述在线地图生成模型进行训练时;
5.根据权利要求4所述的遥感影像生成在线地图方法,其特征在于,所述训练好的在线地图生成模型由第一压缩单元和第一扩散单元构成。
6.根据权利要求1-5任一项所述的遥感影像生成在线地图方法,其特征在于,在对所述遥感样本图像进行几何变换得到多张不同的变换样本图像时,分别对所述遥感图像进行旋转、剪裁以及翻转变换。
7.根据权利要求1-5任一项所述的遥感影像生成在线地图方法,其特征在于,所述在线地图生成模型中感知图像压缩网络采用预训练的向量量化生成对抗网络。
8.一种基于扩散模型的遥感影像生成在线地图装置,其特征在于,所述装置包括:
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。