本发明涉及图像处理领域，尤其涉及一种轻量化图像盲超分辨率方法、系统、设备与存储介质。
背景技术：
1、图像超分辨率指从一幅低分辨率的图像中重建出高分辨图像，以此获得画面清晰锐利、细节丰富的人眼视觉体验。作为图像处理领域的热门研究课题，超分辨率算法已经在安防监控、视频流媒体等领域实现广泛应用，并且随着ai深度学习技术的不断进步，图像超分辨率技术也逐渐向着更加轻量化、更加通用的方向发展。
2、现有的图像超分辨率算法可以分为基于传统插值的方法以及基于深度学习的方法。基于传统插值的方法包括最邻近插值算法(neaerest)、双线性插值算法(bilinear)以及双三次插值算法(bicubic)等。这些传统算法具有带宽占用小，运算速度快的优势，非常适用于算力限制大的端侧设备上使用，然而传统方法所获得的高分辨率图像通常画面模糊且细节丢失严重，人眼主观体验不佳。基于深度学习的方法是目前研究的主流，这些方法从大量低分辨率图像(low resolution，lr)和高分辨率图像(high resolution，hr)组成的数据对中学习隐式的特征映射关系，实现端到端图像超分辨率重建。其中，为了构建训练数据对，此类方法会对hr图像进行退化操作，来获得对应的lr图像。依据退化方式的不同，现有方法可以分为非盲超分辨率方法和盲超分辨率方法两类。对于前者，目前最常用的退化方法是使用传统bicubic算法进行下采样构建lr图像。然而进行真实世界图像的重建时，低分辨率图像通常会受到真实世界中不同类型、不同程度的降质干扰(如噪声干扰、jpeg压缩导致的失真干扰、各种类型的模糊干扰)，导致现有的非盲超分辨率方法重建效果较差。盲超分辨率方法通过估计真实世界图像的复杂退化过程，设计了专门的退化核用于生成lr图像，以此获得更好的超分辨率重建效果。然而此类方法通常使用高精度的float32位浮点数来存储网络权重与激活值，对于部署设备的带宽以及算力需求较高，且实际运算速度慢，难以满足嵌入式设备的实时超分辨率需求。
3、目前，申请号为cn201910272182.0a的中国发明专利申请《一种基于轻量化网络的超分辨率图像重建方法》中，提出了一种基于edsr模型改进设计的轻量化超分辨率图像重建方法。该方法使用由1x1 gconv(逐点组卷积)、通道混洗、3x3dwconv(深度分离卷积)、1x1gconv逐点组卷积四部分组成的shufflenet unit来代替edsr模型的resblock模块，减少了参数量。其次，该方法中使用了剪枝、权值共享、霍夫曼编码三种量化方法来达到减小网络体积，加速运算的效果。
4、但是，上述发明专利申请中，edsr模型内存占用和计算量较大，无法满足端侧设备的算力限制，且1x1卷积的带宽利用率较低，不适合在端侧设备的模型上大规模使用。另外，该发明专利申请中的量化方法产生的精度损失较大，会使得量化后模型的重建效果明显降低。更重要的点在于，它涉及到的超分辨率方法仅针对分辨率退化图像训练，应用在真实世界超分辨率场景下，优于受到噪声、压缩失真等多种退化变换影响，超分效果会大大降低。
技术实现思路
1、本发明的目的是提供一种轻量化图像盲超分辨率方法、系统、设备与存储介质，可以实现对于复杂场景的真实世界图像超分辨率复原，同时算力需求极低，可以在嵌入式设备上实现实时推理。
2、本发明的目的是通过以下技术方案实现的：
3、一种轻量化图像盲超分辨率方法，包括：
4、步骤1、基于插值算法与多阶段退化模型分别生成对应的包含高低分辨率图像对的数据集；其中，所述高低分辨率图像对中，高分辨率图像为插值算法与多阶段退化模型的输入图像，低分辨率图像是指插值算法与多阶段退化模型各自输出的图像；
5、步骤2、基于给定设备的算力要求构建超分辨率模型，用于输出超分辨率复原图像；
6、步骤3、利用插值算法生成的数据集对所述超分辨率模型进行预训练，再使用多阶段退化模型生成的数据集进行训练，获得训练后的超分辨率模型；
7、步骤4、基于蒸馏的lsq量化算法对训练后的超分辨率模型进行比特量化，获得最终的超分辨率模型；
8、步骤5、将所述最终的超分辨率模型部署于给定设备中用于图像盲超分辨率。
9、一种轻量化图像盲超分辨率系统，包括：
10、数据集生成单元，用于基于插值算法与多阶段退化模型生成包含高低分辨率图像对的数据集；其中，所述高低分辨率图像对中，高分辨率图像为插值算法与多阶段退化模型的输入图像，低分辨率图像是指插值算法与多阶段退化模型各自输出的图像；
11、模型构建单元，用于基于给定设备的算力要求构建超分辨率模型，用于输出超分辨率复原图像；
12、模型训练单元，用于利用插值算法生成的数据集对所述超分辨率模型进行预训练，再使用多阶段退化模型生成的数据集进行训练，获得训练后的超分辨率模型；
13、模型量化单元，用于基于蒸馏的lsq量化算法对训练后的超分辨率模型进行比特量化，获得最终的超分辨率模型；
14、模型部署与盲超分辨率单元，用于将所述最终的超分辨率模型部署于给定设备中用于图像盲超分辨率。
15、一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
16、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
17、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
18、由上述本发明提供的技术方案可以看出，利用多阶段退化算法生成的低分辨率图像具有良好的退化空间泛化性，能够模拟真实世界中复杂的图像退化形式(噪声、压缩失真等)，从而增强图像盲超分辨率复原的效果。此外，结合算力构建了轻量化的模型结构和基于蒸馏的lsq模型量化方法，实现了低算力下优质的图像超分辨率复原，推进了超分辨率算法在端侧设备上的落地应用。
1.一种轻量化图像盲超分辨率方法，其特征在于，包括：
2.根据权利要求1所述的一种轻量化图像盲超分辨率方法，其特征在于，基于多阶段退化模型生成包含高低分辨率图像对的数据集包括：
3.根据权利要求1所述的一种轻量化图像盲超分辨率方法，其特征在于，所述基于给定设备的算力要求构建超分辨率模型包括：
4.根据权利要求1所述的一种轻量化图像盲超分辨率方法，其特征在于，所述利用插值算法生成的数据集对所述超分辨率模型进行预训练，再使用多阶段退化模型生成的数据集进行训练，获得训练后的超分辨率模型包括：
5.根据权利要求4所述的一种轻量化图像盲超分辨率方法，其特征在于，
6.根据权利要求5所述的一种轻量化图像盲超分辨率方法，其特征在于，
7.根据权利要求1所述的一种轻量化图像盲超分辨率方法，其特征在于，所述基于蒸馏的lsq量化算法对训练后的超分辨率模型进行比特量化，获得最终的超分辨率模型包括：
8.一种轻量化图像盲超分辨率系统，其特征在于，包括：
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。
