本技术涉及图像处理技术,尤其涉及一种图像解压缩方法和装置。
背景技术:
1、随着卷积神经网络(convolution neural network,cnn)在图像识别、目标检测等计算机视觉任务中的表现远超传统算法,越来越多的研究者开始探索基于深度学习的图像/视频压缩方法。一些研究者设计出端到端的深度学习图像/视频压缩算法,例如,将编码网络、熵估计网络、熵编码引擎、熵解码引擎、解码网络等模块作为一个整体,或者将预测模块和残差压缩模块等模块作为一个整体,其中,编码网络和解码网络也可称为变换模块和逆变换模块,一般由卷积层和非线性变换单元组成。
2、联合图像专家组(joint photographic experts group,jpeg)人工智能(artificial intelligence,ai)标准是首个ai图像压缩国际标准。其典型结构中,在编码端,通过rgb-yuv的色彩空间转换,将图像分解为y分量和uv分量,再分别对二者进行编码传输;在解码端,分别还原y分量和uv分量,再通过yuv-rgb的色彩空间转换,得到rgb图像。前述过程中,y分量和uv分量之间还存在一定的信息交互,从而进一步提升压缩效果,不同分量之间的信息交互对性能优化尤为重要。
技术实现思路
1、本技术提供一种图像解压缩方法和装置,可以提升性能。
2、第一方面,本技术提供一种图像解压缩方法,包括:获取第一特征张量,所述第一特征张量与重建图像的第一分量相对应;获取第二特征张量,所述第二特征张量与所述重建图像的第二分量相对应;对所述第一特征张量和所述第二特征张量进行拼接和卷积得到第三特征张量;根据所述第三特征张量和所述第二特征张量获取第四特征张量;根据所述第一特征张量和所述第四特征张量获取所述重建图像。
3、本技术实施例,对y分量和uv分量的融合结构进行优化,先根据第三特征张量(即第一特征张量(对应重建图像的y分量)和第二特征张量(对应重建图像的uv分量)拼接再卷积后的输出张量)和第二特征张量获取第四特征张量(对应重建图像的uv分量),再根据第一特征张量和第四特征张量获取重建图像。前述第四特征张量的通道数存在小于、大于或等于第一特征张量和第二特征张量的通道数之和这三种情况,当出现小于的情况时,可以减少第四特征张量的通道数,便能节省算力,实现轻量化;当出现大于或等于的情况时,即使第四特征张量的通道数没有减少,但第三特征张量仅和第二特征张量操作可得到第四特征向量,可以大大提升性能。
4、可选的,第一分量可以是采用yuv色彩空间表示的图像的y分量,第二分量可以是采用yuv色彩空间表示的图像的uv分量。
5、需要说明的是,根据图像的表示方式,第一分量和第二分量还可以是其他分量,本技术实施例对此不做具体限定。
6、如上所述,在jpeg ai结构中,在编码端,图像被分解为y分量和uv分量,再分别对二者进行编码传输;在解码端,分别解码并还原y分量和uv分量。可见,y分量(即第一分量)和uv分量(即第二分量)是分成两路独立处理的,而在解码端,处理uv分量的路径中,对y分量和uv分量进行了融合。
7、对第一特征张量和第二特征张量进行拼接(concat)可以是对二者进行通道拼接,例如,第一特征张量的尺度为[128,h,w],第二特征张量的尺度为[64,h,w],那么拼接后的特征张量的尺度为[192,h,w],即宽和高不变,通道数是前述二者的通道数之和。然后对拼接后的特征张量进行卷积(conv),该卷积处理可以增加/减少/不改变通道数,相应的,输出的第三特征张量的通道数则增加/减少/不变,例如,第三特征张量的尺度为[64,h,w]、[128,h,w]或者[192,h,w]。前述尺度中的第一个元素表示特征张量的通道数。
8、可选的,可以将第三特征张量和第二特征张量拼接以得到第四特征张量。
9、拼接即为通道拼接,即将第三特征张量和第二特征张量进行通道拼接。
10、需要说明的是,本技术实施例对第四特征张量的通道数不做具体限定,第四特征张量的通道数小于第一特征张量和第二特征张量的通道数之和的情况,可以减少通道数,便能节省算力,实现轻量化;即使是第四特征张量的通道数大于第一特征张量和第二特征张量的通道数之和的情况,在卷积操作后,将逐点加的操作改为拼接操作,而且对卷积操作的输出,从与y分量和uv分量的融合特征张量做点加操作改为只与uv分量做拼接操作,可以大大提升性能。
11、可选的,可以对第二特征张量进行通道抽取以得到第五特征张量;将第三特征张量和第五特征张量拼接以得到第四特征张量。
12、可以对第二特征张量进行通道减少处理得到第五特征张量,然后再对前述二者做拼接的操作。
13、需要说明的是,本技术实施例对第四特征张量的通道数不做具体限定,第四特征张量的通道数小于第一特征张量和第二特征张量的通道数之和的情况,可以减少通道数,便能节省算力,实现轻量化;即使是第四特征张量的通道数大于第一特征张量和第二特征张量的通道数之和的情况,在卷积操作后,将逐点加的操作改为拼接操作,而且对卷积操作的输出,从与y分量和uv分量的融合特征张量做点加操作改为只与uv分量做拼接操作,可以大大提升性能。
14、可选的,可以将第三特征张量和第二特征张量相加以得到第四特征张量。
15、当第三特征张量和第二特征张量的通道数相等时,前述二者相加可以是逐点相加;当第三特征张量和第二特征张量的通道数不等时,前述二者相加可以是将通道数小的特征张量与通道数大的特征张量的部分通道逐点相加。例如,第三特征张量的通道数为64,第二特征张量的通道数为32,那么可以将第二特征张量的32个通道与第三特征张量的前32个通道逐点相加;或者,可以将第二特征张量的32个通道与第三特征张量的后32个通道逐点相加,等等。本技术实施例对这种情况下的相加方法不作具体限定。
16、需要说明的是,本技术实施例对第四特征张量的通道数不做具体限定,第四特征张量的通道数小于第一特征张量和第二特征张量的通道数之和的情况,可以减少通道数,便能节省算力,实现轻量化;即使是第四特征张量的通道数大于第一特征张量和第二特征张量的通道数之和的情况,在卷积操作后,对卷积操作的输出,从与y分量和uv分量的融合特征张量做点加操作改为只与uv分量做点加操作,可以大大提升性能。
17、可选的,可以对第二特征张量进行通道抽取以得到第五特征张量;将第三特征张量和第五特征张量相加以得到第四特征张量。
18、在第三特征张量的通道数小于第二特征张量的通道数的情况下,可以对第二特征张量进行通道减少处理得到第五特征张量,使得第五特征张量和第二特征张量的通道数相等,然后再对前述二者做逐点相加的操作。
19、需要说明的是,本技术实施例对第四特征张量的通道数不做具体限定,前述情况中,第四特征张量的通道数小于第一特征张量和第二特征张量的通道数之和的情况,可以减少通道数,便能节省算力,实现轻量化;即使是第四特征张量的通道数大于第一特征张量和第二特征张量的通道数之和的情况,在卷积操作后,对卷积操作的输出,从与y分量和uv分量的融合特征张量做点加操作改为只与uv分量做点加操作,可以大大提升性能。
20、经过融合处理后得到的第四特征张量,再经过一些处理(参照下文实施例)可以得到重建图像的uv分量,再与重建图像的y分量结合,构成完整的重建图像。
21、第二方面,本技术提供一种图像解压缩装置,包括:获取模块,用于获取第一特征张量,所述第一特征张量与重建图像的第一分量相对应;获取第二特征张量,所述第二特征张量与所述重建图像的第二分量相对应;处理模块,用于对所述第一特征张量和所述第二特征张量进行拼接和卷积得到第三特征张量;根据所述第三特征张量和所述第二特征张量获取第四特征张量;重建模块,用于根据所述第一特征张量和所述第四特征张量获取所述重建图像。
22、在一种可能的实现方式中,所述处理模块,具体用于将所述第三特征张量和所述第二特征张量拼接以得到所述第四特征张量。
23、在一种可能的实现方式中,所述处理模块,具体用于将所述第三特征张量和所述第二特征张量相加以得到所述第四特征张量。
24、在一种可能的实现方式中,所述处理模块,具体用于对所述第二特征张量进行通道抽取以得到第五特征张量;将所述第三特征张量和所述第五特征张量拼接以得到所述第四特征张量。
25、在一种可能的实现方式中,所述处理模块,具体用于对所述第二特征张量进行通道抽取以得到第五特征张量;将所述第三特征张量和所述第五特征张量相加以得到所述第四特征张量。
26、在一种可能的实现方式中,所述第一分量是y分量,所述第二分量是uv分量。
27、第三方面,本技术提供一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。
28、第四方面,本技术提供一种计算机可读存储介质,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行上述第一方面中任一项所述的方法。
29、第五方面,本技术提供一种计算机程序,当所述计算机程序被计算机执行时,用于执行上述第一方面中任一项所述的方法。
30、第六方面,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述任一方法实施例中由电子设备执行的操作和/或处理。
1.一种图像解压缩方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述第三特征张量和所述第二特征张量获取第四特征张量,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述第三特征张量和所述第二特征张量获取第四特征张量,包括:
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述根据所述第三特征张量和所述第二特征张量获取第四特征张量,包括:
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述根据所述第三特征张量和所述第二特征张量获取第四特征张量,包括:
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述第一分量是y分量,所述第二分量是uv分量。
7.一种图像解压缩装置,其特征在于,包括:
8.根据权利要求7所述的装置,其特征在于,所述处理模块,具体用于将所述第三特征张量和所述第二特征张量拼接以得到所述第四特征张量。
9.根据权利要求7所述的装置,其特征在于,所述处理模块,具体用于将所述第三特征张量和所述第二特征张量相加以得到所述第四特征张量。
10.根据权利要求7-9中任一项所述的装置,其特征在于,所述处理模块,具体用于对所述第二特征张量进行通道抽取以得到第五特征张量;将所述第三特征张量和所述第五特征张量拼接以得到所述第四特征张量。
11.根据权利要求7-9中任一项所述的装置,其特征在于,所述处理模块,具体用于对所述第二特征张量进行通道抽取以得到第五特征张量;将所述第三特征张量和所述第五特征张量相加以得到所述第四特征张量。
12.根据权利要求7-11中任一项所述的装置,其特征在于,所述第一分量是y分量,所述第二分量是uv分量。
13.一种电子设备,其特征在于,包括:
14.一种计算机可读存储介质,其特征在于,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行权利要求1-6中任一项所述的方法。
