本发明属于图像去模糊领域，更具体地说，是一种基于深度先验的自监督多尺度盲图像去模糊方法。
背景技术：
1、在图像获取过程中，由于受到大气湍流、成像设备与目标之间相对运动、成像设备聚焦不准等因素的影响，获取的图像会有一定程度的模糊，这是一种常见的图像降质过程。图像去模糊技术利用图像处理手段复原清晰图像，通过对图像的降质过程进行建模，求解降质模型的逆过程从模糊图像中复原清晰图像。在交通监控、生物医学、天文观测、遥感遥测等众多领域有着广泛的应用。
2、对于均匀模糊图像的降质过程，根据模糊核是否已知，图像去模糊方法可以分为非盲图像去模糊和盲图像去模糊。盲图像去模糊方法是指模糊核未知的情况下同时估计出原始的清晰图像和模糊核，方程个数小于未知数个数，具有严重的病态性。盲图像去模糊属于病态逆问题，需要引入图像的先验信息来约束可行解的空间。现有的盲图像去模糊方法大致可以分为两类：基于最优化模型的方法和基于深度学习的方法。自然图像先验为图像复原提供有效的附加信息，约束图像复原问题可行解的空间。基于最优化模型的盲图像去模糊方法利用传统统计先验对自然图像的统计特性进行数学建模，但是数学表达式难以表示复杂的自然图像先验。基于深度学习(deep learning)的方法通过深度神经网络(deepneural network，dnn)自适应地学习清晰图像的特征，可分为监督学习和非监督学习的方法。
3、基于监督学习的盲图像去模糊方法需要使用成对的模糊/清晰图像数据集训练网络，学习模糊图像到清晰图像的映射。多尺度去模糊深度网络有效解决了大尺度模糊问题，nah等开创性地提出利用多尺度卷积神经网络，通过级联多个子网络模拟金字塔结构，端到端地学习模糊图像和清晰图像之间的映射关系。cho等改进了多尺度去模糊策略，利用多输入多输出的u-net网络建模清晰图像的估计过程，在单个u-net中进行多尺度去模糊，融合多尺度信息，与级联多个子网络的结构相比，很大程度上减小了需要学习的参数量。然而，基于监督学习的盲图像去模糊方法的问题在于，当待复原图像与训练数据集的特征差异较大时，无法保证网络的重建质量。
4、基于非监督学习的盲图像去模糊方法则无需数据集训练网络，自监督学习是一种常用的非监督学习方法，仅以模糊图像为监督信号，无需模糊核或清晰图像真值，能够更好地应用到现实场景中。近年来，深度先验利用深度网络本身隐式建模图像的先验信息，无需使用数学模型显式地表达先验，能够表示更复杂的图像结构信息。ulyanov等发现在网络拟合降质图像的过程中，会首先生成清晰图像，开创性地提出利用深度网络本身捕获自然图像先验，在u-net基础上提出dip-net(deep image prior net，dip-net)用于处理图像复原任务。ren等将深度先验的思想应用到图像去模糊问题中提出了selfdeblur模型，利用dip-net估计清晰图像，利用全连接网络fcn估计模糊核，交替迭代更新两个网络的参数同时估计模糊核与清晰图像。bai等在selfdeblur的基础上提出fast-selfdeblur模型，采用网络和数学模型相结合的方式，将清晰图像和模糊核的联合最优化问题分解为两个子问题，即图像估计子问题和模糊核估计子问题，利用dip-net估计清晰图像，使用正则化最小二乘模型估计模糊核，通过交替求解的方式解决盲图像去模糊问题。与selfdeblur的方法相比，fast-selfdeblur求解正则化模型的精确解估计模糊核，且无需将模糊核表示为一维向量的形式，而是直接估计出二维形式的模糊核，保留了模糊核的二维空域相关性，加速算法收敛。
5、本发明公开了一种基于深度先验的自监督多尺度盲图像去模糊方法，以自监督学习的方式训练多尺度去模糊网络，将盲解卷积的联合建模问题分解为模糊核估计子问题和图像估计子问题，通过网络模型与数学模型相结合的方式交替求解。本发明的新颖性和创造性体现在：①基于自监督的方式仅将模糊图像本身作为监督信号估计清晰图像，与基于监督的去模糊方法相比，无需成对的清晰模糊数据集训练，推广性更强；②将深度网络方法的学习能力与最优化模型方法的自适应性两者相结合，利用深度网络生成清晰图像，通过网络结构隐式地建模图像先验，无需复杂的人工先验，通过求解关于模糊核的正则化最小二乘问题的精确解，直接对各尺度下的模糊核进行单独估计，以上两步交替求解直至收敛；③利用单个u-net中的多输入多输出图像生成网络进行多尺度去模糊，解决了大尺寸模糊核的估计问题，利用多尺度网络估计多个尺度的清晰图像，避免了传统的最优化模型方法中由粗到细估计图像的过程，降低了时间开销，且联合估计清晰图像与模糊核，无需非盲图像去模糊方法。
技术实现思路
1、有鉴于此，本发明实施例提供了一种基于深度先验的自监督多尺度盲图像去模糊方法，以复原出原始的清晰图像。
2、为了实现上述目的，本发明实施例提供了如下方案：
3、一种基于深度先验的自监督多尺度盲图像去模糊方法，其特征在于，包含以下4个步骤：
4、步骤1.初始化多尺度随机输入和网络参数，以及设置超参数；
5、本发明构建包含四个尺度的多尺度图像生成网络；初始化网络的输入和网络参数，输入为随机矩阵{zs}，s∈{0，1，2，3}，z3为区间(0，1)上均匀分布的随机矩阵，其余zs，s＝0，1，2是由z3进行2(3-s)倍最近邻上采样得来；使用he方法初始化网络参数，初始网络参数为00；输入为随机矩阵{zs}，经过多尺度图像生成网络的前向传播计算四个尺度下清晰图像的初始估计
6、步骤2.估计多尺度模糊核；
7、固定网络参数θk-1生成的清晰图像省略上标s，求解下式线性方程组的精确解，在各尺度下单独估计模糊核hk：
8、avec(hk)＝vec(z)
9、式中，系数矩阵a为
10、a＝γ[vec(f)vec(u)t+vec(k)vec(v)t]+i
11、z的表达式为
12、
13、矩阵u，v，f，k分别为
14、
15、其中，vec(·)为矩阵按列向量化操作，表示傅里叶变换，表示傅里叶逆变换，表示傅里叶变换的复共轭；
16、步骤3.估计多尺度清晰图像；
17、固定当前多尺度模糊核的估计由θk-1更新θk，生成多尺度清晰图像估计包含以下3个步骤：
18、步骤3.1计算损失函数关于网络参数的梯度：
19、本发明网络的损失函数为：
20、
21、计算损失函数l(θ)关于参数θ的梯度
22、步骤3.2更新多尺度图像生成网络的网络参数：
23、利用adam梯度下降算法更新网络参数θk：
24、
25、式中，η为学习率，∈为常数，偏差修正后的动量和二阶动量分别为
26、
27、其中，⊙表示逐元素相乘，0≤β1<1，0≤β2＜1；
28、步骤3.3生成多尺度清晰图像：
29、通过网络前向传播计算更新网络参数后的四个尺度的清晰图像
30、步骤4.判断损失函数是否收敛或是否达到最大迭代次数k，输出模糊核与清晰图像的估计；
31、通过步骤2和步骤3，获得多尺度模糊核的估计并将多尺度清晰图像的估计更新为完成对目标函数的一次迭代求解；若损失函数收敛到某一阈值以下或达到最大迭代次数k，则停止迭代，输出最终的模糊核与清晰图像估计；否则，重复步骤2和步骤3。
32、优选的，所述多尺度图像生成网络初始学习率η0的为1×10-3，学习率衰减系数为0.5。
33、优选的，所述清晰图像正则化参数λx在lai和kohler数据集实验中分别为0和1。
34、优选的，所述模糊核正则化参数λh在lai和kohler数据集实验中分别为10和120。
35、优选的，所述最大迭代次数k为2000。
36、优选的，所述图像生成网络中输入数据通道数固定为16。
37、本发明公开了一种基于深度先验的自监督多尺度盲图像去模糊方法，利用网络结构隐式建模图像的先验信息，仅将模糊图像作为监督信号训练多尺度去模糊网络，同时估计多尺度的清晰图像和模糊核。将tv正则化盲去模糊问题分解为模糊核估计子问题和图像估计子问题，分别以网络和数学模型的方式交替迭代求解直至收敛；利用多输入多输出图像生成网络生成多尺度清晰图像；直接求解关于模糊核正则化最小二乘模型的精确解，在各尺度下单独估计模糊核。本发明方法无需成对的清晰/模糊图像数据集训练网络；将最优化模型方法的自适应性与深度网络方法的学习能力两者相结合，无需考虑复杂图像先验的设计；通过多尺度联合去模糊的方式有效解决了大尺寸模糊核的估计问题，避免了由粗到细地迭代带来的时间开销，且联合估计清晰图像与模糊核，无需非盲图像去模糊方法。
1.一种基于深度先验的自监督多尺度盲图像去模糊方法，其特征在于，包含以下4个步骤：
2.如权利要求1所述的一种基于深度先验的自监督多尺度盲图像去模糊方法，其特征在于，训练时多尺度图像生成网络学习率η0的初始值为1×10-3。
3.如权利要求1所述的一种基于深度先验的自监督多尺度盲图像去模糊方法，其特征在于，训练时学习率衰减系数为0.5。
4.如权利要求1所述的一种基于深度先验的自监督多尺度盲图像去模糊方法，其特征在于，训练时最大迭代次数k为2000。
5.如权利要求1所述的一种基于深度先验的自监督多尺度盲图像去模糊方法，其特征在于，训练时图像生成网络中输入数据通道数固定为16。
