本发明涉及图像恢复，尤其涉及一种自适应分数阶微分结合特征对齐的去摩尔纹方法。
背景技术：
1、数字化时代的当下，手机、相机等数码设备的普及使得人们能够方便地捕捉和记录生活中的重要时刻。然而，随着使用场景的扩大，人们开始注意到在拍摄显示屏或其他纹理丰富的场景时，经常会出现一些意料之外的波纹图案，这种图案被称为摩尔纹。摩尔纹的外观复杂多样，这对数码设备的使用和图像观感带来困扰和限制。莫尔条纹图案产生于数字图像的成像过程中，当相机的颜色滤波器阵列(cfa)采样lcd等屏幕的像素晶格时，若采样率不满足奈奎斯特采样定理，就会导致摩尔纹的出现，这种混叠现象严重影响了数字图像的质量。
2、目前的去摩尔纹方案可分为两个主要方向。一种是从源头解决，即在拍摄过程中改变拍摄角度、位置、焦距等参数或者在相机传感器前安装光学低通滤波器，以减少摩尔纹的出现。然而，这些方法在抑制摩尔纹的同时会模糊图像细节，导致色彩失真。最重要的是，从源头解决的方法也无法处理已经存在摩尔纹的图像。另一种方法则是利用算法对图像进行后期处理。由于摩尔纹特征的复杂性，传统的图像恢复方法在去除摩尔纹任务上效果有限。近年来，一些基于深度神经网络的去摩尔纹方法也被提出，取得了更好的效果。
3、然而，现有的方法在去除摩尔纹时无法很好地保留图像的纹理细节，同时模型庞大，计算成本较高。特别是在处理高分辨率图像时，这些问题更加突出，这使得去摩尔纹的应用场景受到极大的限制。
技术实现思路
1、为了解决现有去摩尔纹方法在去除摩尔纹时无法很好保留图像纹理细节以及现有去除摩尔纹模型计算成本较高的问题，本发明提出一种自适应分数阶微分结合特征对齐的去摩尔纹方法，在去除摩尔纹的同时最大限度地保留图像的纹理细节，并且优化模型结构以降低计算成本，解决上述问题。
2、本技术公开了一种自适应分数阶微分结合特征对齐的去摩尔纹方法，包括以下步骤：
3、s1、获取摩尔纹数据集，下载公开的摩尔纹数据集fhdmi以及uhdm；其中fhdmi作为首个公开的高清真实世界摩尔纹数据集，由12000个分辨率为1920×1080的图像对构成，其中9981对用作训练图像，2019对用作测试图像，包含多种场景。uhdm为真实场景中获取的首个4k摩尔纹数据集，包含5000个图像对，其中4500对用于训练，500对用于测试。fhdmi与uhdm通过不同的数码拍摄设备和屏幕组合捕获真实世界的摩尔纹图像，再通过图像对齐获得最终的干净图像与摩尔纹图像数据对。
4、s2、构建自适应分数阶微分结合特征对齐的网络模型，自适应分数阶微分结合特征对齐的网络模型包括多个层级，每一个层级均包括自适应分数阶微分去摩尔纹模块和特征对齐融合模块；
5、s3、将s1中的摩尔纹数据集输入自适应分数阶微分结合特征对齐的网络模型进行训练；
6、s4、将拍摄的摩尔纹图像输入模型中，得到清晰的无摩尔纹目标图像。
7、优选的，所述自适应分数阶微分结合特征对齐的网络模型包括三个层级，其中第一层级包括依次连接的摩尔纹图像输入端、下采样模块、残差密集块和第一编码器，第一层级还包括依次连接的第一解码器、relu激活卷积块、上采样模块和目标图像输出端，第一编码器和第一解码器之间进行跳跃连接。
8、自适应分数阶微分结合特征对齐的网络模型的第二层级包括第二编码器和第二解码器，第二编码器的输入端与第一编码器的输出端连接，第二解码器的输出端与第一解码器的输入端连接，第二编码器与第二解码器之间进行跳跃连接。
9、自适应分数阶微分结合特征对齐的网络模型的第三层级包括第三编码器和第三解码器，第三编码器的输入端与第二编码器的输出端连接，第三解码器的输出端与第二解码器的输入端连接，第三编码器与第三解码器直接连接。
10、优选的，所述第一编码器、第二编码器、第三编码器、第一解码器、第二解码器和第三解码器均由自适应分数阶微分去摩尔纹模块和特征对齐融合模块组成。
11、优选的，所述自适应分数阶微分去摩尔纹模块包括分数阶卷积块和relu激活卷积块，输入特征通过全局平均池化和带有relu激活函数的1×1的卷积块获取摩尔纹图像的全局特征，再由sigmoid激活函数生成自适应权重，将自适应权重传入分数阶卷积块生成自适应的卷积核，对特征进行自适应滤波，将分数卷积块的输出结果与输入特征通过残差连接进行特征拼接，将拼接好的特征通过一个带有relu激活函数的3×3的卷积块融合特征，并将结果输出至特征对齐融合模块。
12、优选的，所述分数阶卷积块中的分数阶卷积为基于分数阶微分定义构造的二维微分掩模，分数阶微分定义如下：
13、
14、其中，h表示积分步长，α为阶数，x为自变量，k为求和的索引变量；
15、将信号在持续期间按单位长度等分，得到分数阶微分的差分表达形式的离散形式近似式为：
16、
17、在保证滤波器误差较小的情况下，利用上式的前三项构建二维分数阶滤波器，以便提取纹理细节，并利用来自八个方向的像素信息，在不同通道上构建5×5的各向同性微分掩模，得到分数阶卷积块。
18、优选的，所述特征对齐融合模块包括第一分支、第二分支、第三分支和第四分支，特征对齐融合模块通过在分支内部对深层次对齐的语义特征进行融合；
19、所述第一分支通过残差密集块提取特征，所述第二分支通过2倍下采样获取特征信息，为进一步增大感受野，通过残差密集块提取特征，然后通过2倍上采样至输入特征尺度；所述第三分支通过4倍下采样获取特征信息，并通过残差密集块提取特征，然后通过4倍上采样至原始输入特征尺度，所述第四分支与输入特征连接；
20、将所述第二分支和第三分支的输出结果通过简单注意力门控单元进行特征融合，然后再与第一分支的输出结果通过简单注意力门控单元进行特征融合，之后将融合后的特征通过第四分支与输入特征进行逐元素相加，得到输出特征。
21、优选的，所述残差密集块由膨胀率为{1，2，3，2，1}的五个带有relu激活函数的3×3膨胀卷积块构成。
22、优选的，所述简单注意力门控单元用于融合相邻尺度的特征，融合过程如下：
23、首先将两部分输入特征进行特征拼接，然后分别通过全局最大池化和全局平均池化后通过带有relu激活函数的1×1卷积块生成注意力图，注意力图通过sigmoid函数生成注意力权重ω1和ω2，将ω1和ω2分别与两部分输入特征进行哈达玛积计算，将计算结果与两部分输入特征中尺度较高的那部分输入特征进行残差连接，然后将残差连接的三部分逐元素相加，得到融合的输出特征。
24、优选的，所述s3包括以下步骤：
25、将s1中的公开摩尔纹数据对输入自适应分数阶微分结合特征对齐的网络模型进行训练，计算目标图像与输入图像之间的l1损失，通过像素级监督促使模型产生接近真实图像的输出。由于摩尔纹数据对并非严格对齐，采用感知损失lper使得恢复结果更加符合视觉质量要求，感知损失lper使用预训练好的vgg16从图像对中提取特征计算损失，对每一层级的输出进行监督，得到最终的损失函数为：
26、
27、其中，λ1和λ2为不同惩罚项的平衡权重，pi代表对应层级的目标图像，qi代表对应层级的输入图像，i表示层级；
28、使用pytorch框架搭建网络，经过200个epoch的训练，并使用adam优化器训练网络，初始学习率为1×10-4，通过余弦退火策略稳定地降低到1×10-6，自适应分数阶微分结合特征对齐的网络模型通过端到端学习源图像到目标图像的映射。
29、本发明的有益效果：
30、(1)本发明基于简单的unet模型，针对摩尔纹特性提出了自适应分数阶微分去摩尔纹模块(afdm)，通过利用图像特征生成自适应的分数阶卷积核，使用少量参数有效地提取并保留图像的纹理细节。
31、(2)本发明提出了特征对齐融合模块(fafm)，fafm模块在分支内部对深层次语义特征进行对齐融合，避免了分支间特征融合的不一致性，有效解决了摩尔纹残留问题。
32、(3)afdm模块和fafm模块轻量且有效，在保证提升恢复结果指标的同时，减少了尤其是去高分辨率图像摩尔纹的运算量以及处理时间。
1.一种自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，所述自适应分数阶微分结合特征对齐的网络模型包括三个层级，其中第一层级包括依次连接的摩尔纹图像输入端、下采样模块、残差密集块和第一编码器，第一层级还包括依次连接的第一解码器、relu激活卷积块、上采样模块和目标图像输出端，第一编码器和第一解码器之间进行跳跃连接；
3.根据权利要求2所述的自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，所述第一编码器、第二编码器、第三编码器、第一解码器、第二解码器和第三解码器均由自适应分数阶微分去摩尔纹模块和特征对齐融合模块组成。
4.根据权利要求3所述的自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，所述自适应分数阶微分去摩尔纹模块包括分数阶卷积块和relu激活卷积块，输入特征通过全局平均池化和带有relu激活函数的1×1的卷积块获取摩尔纹图像的全局特征，再由sigmoid激活函数生成自适应权重，将自适应权重传入分数阶卷积块生成自适应的卷积核，对特征进行自适应滤波，将分数卷积块的输出结果与输入特征通过残差连接进行特征拼接，将拼接好的特征通过一个带有relu激活函数的3×3的卷积块融合特征，并将结果输出至特征对齐融合模块。
5.根据权利要求4所述的自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，所述分数阶卷积块中的分数阶卷积为基于分数阶微分定义构造的二维微分掩模，分数阶微分定义如下：
6.根据权利要求5所述的自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，所述特征对齐融合模块包括第一分支、第二分支、第三分支和第四分支，特征对齐融合模块通过在分支内部对深层次对齐的语义特征进行融合；
7.根据权利要求6所述的自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，所述特征对齐融合模块中的残差密集块由膨胀率为{1，2，3，2，1}的五个带有relu激活函数的3×3膨胀卷积块构成。
8.根据权利要求7所述的自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，所述简单注意力门控单元用于融合相邻尺度的特征，融合过程如下：
9.根据权利要求8所述的自适应分数阶微分结合特征对齐的去摩尔纹方法，其特征在于，所述s3包括以下步骤：
