本发明属于图像处理,涉及一种基于多尺度渐进初始重构的图像压缩感知方法和装置。
背景技术:
1、近年来,压缩感知理论基于信号稀疏性提出了一种新的信号采样和重构方法,在编码端采用线性、非自适应的随机投影对原始图像数据进行测量获得少量的采样值,然后在解码端通过迭代求解优化问题,从这些采样值中重构图像。这种压缩感知策略无需存储直接压缩,大大减少了对编码端内存资源的需求。此外,它可以以低于nyquist采样率对信号进行采样,提高了编码效率,并在单像素成像、加速磁共振成像、无线远程监控、认知无线电通信等领域得到了广泛应用。
2、传统的图像压缩感知算法通常通过迭代求解优化问题来重构图像,但其效率较低,难以满足实时应用场景的需求。近年来,基于深度学习的压缩感知重构算法备受研究者关注。这些方法通过构建参数化网络,并通过训练网络参数来学习测量值与原始图像之间的映射关系,具有较高的重构效率,可以满足实时应用的需求。基于深度学习的图像压缩感知重构方法采用“初始重构+深度重构”的策略。然而,现有方法在进行深度重构之前,只进行简单的初始重构以提升重构图像维度,忽略了初始重构与深度重构之间的特征复用,从而限制了重构性能的进一步提升。
技术实现思路
1、本发明的目的在于解决现有基于深度学习的图像压缩感知重构方法忽略初始重构与深度重构之间的特征复用导致重构质量不理想的问题,提出一种基于多尺度渐进初始重构的图像压缩感知方法和装置。
2、技术方案:一种基于多尺度渐进初始重构的图像压缩感知方法,包括如下步骤:
3、步骤一、利用卷积层对图像数据集中的原始图像进行压缩感知采样,获得观测值;
4、步骤二、构建基于多尺度渐进初始重构的图像压缩重构网络;所述图像压缩重构网络由多尺度渐进初始重构子网、基础重构子网和多尺度重构子网组成;
5、所述图像压缩重构网络处理图像的方法如下:
6、步骤1)、将原始图像的观测值输入多尺度渐进初始重构子网,获得初步恢复的多尺度特征图;
7、步骤2)、将步骤1)获取的多尺度特征图中与原始图像尺度相同的特征图,输入到基础重构子网中,获得基础重构特征图;
8、步骤3)、将步骤1)获取的多尺度特征图,输入到多尺度重构子网中,通过融合尺度相同的特征图,获得多尺度重构特征图;
9、步骤4)、将步骤2)获取的基础重构特征图和步骤3)获取的多尺度重构特征图进行融合后,获得最终重构的图像;
10、步骤三、利用步骤一中图像数据集的观测值对步骤二构建的图像压缩重构网络进行训练;
11、步骤四、将待处理图像的观测值,输入步骤三训练好的图像压缩重构网络,获得重构的图像。
12、进一步的,步骤一中,采集公式如下:
13、y=φx (1)
14、其中,y为观测值,φ为采样矩阵,x为原始图像;
15、式(1)由b·b·sr个大小为b×b的卷积核,步长为b,输入信道数为1,输出信道数为b·b·sr的卷积层来实现,其中sr为采样率;
16、步骤一中的卷积层,对原始图像中每一个b×b大小的图像块进行压缩感知采样,输出为一个w×h×(sr·b·b)的张量,其中,w和h代表输入的原始图像的宽和高两个维度上的块的数量,sr为采样率,b为步长。
17、进一步的,步骤1)中,所述多尺度渐进初始重构子网由2个卷积层、1个变形层、3个转置卷积层、组成;
18、将原始图像的观测值输入多尺度渐进初始重构子网后,首先,将观测值y输入到第1个卷积层和第1个变形层中,得到维度为的特征图;然后,利用第2个卷积层将特征图的通道数增加到64,获得维度为的一级特征图xi1;将xi1输入第1个转置卷积层进行2倍上采样,获得尺度为的二级特征图xi2;将xi2输入第2个转置卷积层进行2倍上采样,获得尺度为的三级特征图xi3;将xi3输入第3个转置卷积层进行2倍上采样,最终获得与原始图像相同尺寸w×h×1的特征图
19、进一步的,步骤2)中,所述基础重构子网由2个基础卷积层和6个残差子网组成;将特征图输入到基础重构子网后:
20、首先,使用第1个基础卷积层进行特征提取;
21、然后,将第1个基础卷积层提取的特征依次输入残差子网中,在第一残差子网中,先利用一个卷积层对输入进行特征提取,获得特征图,随后利用另一个卷积层进行增强重构,获得增强重构结果,再与第一残差子网的输入进行相加,获得第一个残差子网的输出,之后输入到下一个残差子网,直至获取6个残差子网的输出;
22、最后,将第6个残差子网的输出和第1个基础卷积层的输出进行相加,再输入第2个基础卷积层获得基础重构子网最终的输出。
23、进一步的,步骤3)中,所述多尺度重构子网由3个卷积层和3个转置卷积层组成;将特征图输入到多尺度重构子网后,结合xi1,xi2和xi3进行特征复用:
24、首先,将输入第1个卷积层进行2倍下采样,获得尺度为的三级特征图与xi3在通道维度进行拼接后获得xm3;将xm3输入第2个卷积层进行2倍下采样,获得尺度为的二级特征图与xi2在通道维度进行拼接后获得xm2;将xm2输入第3个卷积层进行2倍下采样,获得尺度为的一级特征图与xi1在通道维度进行拼接后获得xm1;
25、然后,再使用三个转置卷积层对xm1进行上采样,xm1输入至第1个转置卷积层,第1个转置卷积层的输出与xm2相加后的特征图作为第2个转置卷积层的输入,第2个转置卷积层的输出与xm3相加后的特征图作为第3个转置卷积层的输入,第3个转置卷积层的输出为多尺度重构子网的最终获得的输出。
26、进一步的,步骤4)中:
27、将多尺度重构子网输出的特征图和基础重构子网输出的特征图进行相加,获得最终重构的图像。
28、进一步的,步骤三中,训练时,通过设置损失函数,采用优化算法,对图像压缩重构网络进行端到端的训练;
29、1)损失函数lrecon的公式如下:
30、
31、其中,f(y)为图像压缩重构网络的输出结果,表示二范数的平方;
32、2)采用的优化算法为梯度下降算法。
33、本发明还提供一种基于多尺度渐进初始重构的图像压缩感知装置,包括处理器和存储介质;所述存储介质存储有执行上述方法的计算机程序;所述处理器用于运行计算机程序,所述计算机程序运行时执行上述方法。
34、有益效果:本发明公开了一种基于多尺度渐进初始重构的图像压缩感知方法和装置。该网络在初始重构阶段采用多尺度结构逐步提升重构图像维度,并对初始重构阶段中的多尺度特征进行复用,引导后续网络进行深度重构。相比于现有方法,本发明方法能够有效提高重构质量。本发明方法适用于采样端资源受限、对重构质量要求高和对实时性要求高的图像传感系统。
1.一种基于多尺度渐进初始重构的图像压缩感知方法,包括如下步骤:
2.根据权利要求1中所述的基于多尺度渐进初始重构的图像压缩感知方法,其特征在于,步骤一中,采集公式如下:
3.根据权利要求2中所述的基于多尺度渐进初始重构的图像压缩感知方法,其特征在于,步骤1)中,所述多尺度渐进初始重构子网由2个卷积层、1个变形层、3个转置卷积层、组成;
4.根据权利要求3中所述的基于多尺度渐进初始重构的图像压缩感知方法,其特征在于,步骤2)中,所述基础重构子网由2个基础卷积层和6个残差子网组成;将特征图输入到基础重构子网后:
5.根据权利要求4中所述的基于多尺度渐进初始重构的图像压缩感知方法,其特征在于,步骤3)中,所述多尺度重构子网由3个卷积层和3个转置卷积层组成;将特征图输入到多尺度重构子网后,结合xi1,xi2和xi3进行多尺度特征复用:
6.根据权利要求5中所述的基于多尺度渐进初始重构的图像压缩感知方法,其特征在于,步骤4)中:
7.根据权利要求1中所述的基于多尺度渐进初始重构的图像压缩感知方法,其特征在于,步骤三中,训练时,通过设置损失函数,采用优化算法,对图像压缩重构网络进行端到端的训练;
8.一种基于多尺度渐进初始重构的图像压缩感知装置,其特征在于,包括处理器和存储介质;