本发明涉及光场处理，具体地，涉及一种基于稀疏编码与角度重建的光场视频压缩方法及系统，同时涉及一种相应的计算机终端和计算机可读存储介质。
背景技术：
1、光场(light field，lf)描述了光线在每一个方向通过每一个点的光量，它记录了3维场景中光线的集合。与传统成像不同，光场成像能够同时捕获光线的空间信息和角度信息，提供比传统图像和视频更加丰富的信息。光场相机通过在相机主透镜和图像传感器之间加入一个微透镜阵列来采集光场数据。由光场相机直接拍摄得到的是光场小透镜图像，它由许多具有高度相关性的微图像组成。通过将微图像中固定位置的像素提取出来，可以得到具有水平视差和垂直视差的子孔径图像(sai)阵列。通过固定sai阵列的一个空间维度和一个角度维度，可以得到光场极平面图像(epi)。针对光场的特殊结构，光场不但可以完成拍摄后重新聚焦、深度/视差估计、三维重建等许多基础任务，目前在人脸识别、虚拟现实、医学成像、影视制作等许多领域也都可以见到光场的身影。光场成像技术全面重塑视觉信号的采集方式和处理模式，深刻变革视觉数据形式，已成为推动计算机视觉领域发展的新动力。
2、光场图像可以看成四维数据，光场视频多了时间信息，为五维数据。光场结构上的巨大相似性导致其在包含大量有用信息的同时，也包含大量的冗余信息，所以光场应用亟需高效的数据压缩算法。比如一段深度为8bit、空间分辨率大小为1920×1080、角度分辨率大小为5×5、帧率为25帧/秒的3通道彩色光场视频，它可以采集到25个方向的动态光线信息，但其在空间、角度、时间域上存在大量的冗余，数据量高达28.97gb。如此庞大的数据量难以实现有效的存储和传输，这严重制约光场的应用。因此，最大程度上挖掘光场结构上的相似性，寻求一种高效的光场视频压缩算法，对于光场技术的发展尤为重要。近年来，针对光场的压缩方法已经进行了许多研究，jpeg和mpeg委员会已经开始研究光场图像和光场视频的压缩标准化，以寻找高效的压缩方案，满足光场应用的巨大需求。然而，对于光场的实际应用，依然需要研究更加有效的针对性的压缩方法，如何在提高压缩效率的同时，也满足传输速率、访问速度、计算复杂性等方面的需求，成为本领域亟待解决的问题。
3、经过检索发现：
4、公开号为cn114913247a的中国发明专利申请《一种光场相机的光场重建方法及系统》，包括：获取光场信号和光强分布；对一条线的值的参数空间进行采样，该线的第一侧的第一对端点，与该线的第一侧不同的该线的第二侧的第二对端点，以及用于的相应调色板索引深度图像的像素块的每个像素；获取光场的稀疏表示模型，以及光强分布的傅里叶转换公式；基于采样和通过一个或多个计算机处理器的操作来确定线路的值、第一对端点、第二对端点以及用于最小化误差的每个像素的相应调色板索引；获取光场图像的碎片化观测值和最大似然估计值；存储线路的确定值、第一对端点、第二对端点和每个像素的各个调色板索引。该方法及系统仍然存在如下技术问题：
5、光场相机产生的数据量庞大，该方法及系统需要处理全部数据，因此面临实时性不足和高成本的挑战，导致光场重建的效率不理想；
6、该方法及系统聚焦于光场相机的静态图像重建，而不涉及包含时间维度的光场视频处理，因此难以高效率用于光场视频的压缩与重建。
技术实现思路
1、针对现有技术中存在的上述不足，本发明的目的是提供一种基于稀疏编码与角度重建的光场视频压缩方法及系统，同时提供一种相应的计算机终端和计算机可读存储介质。
2、根据本发明的一个方面，提供一种基于稀疏编码与角度重建的光场视频压缩方法，包括：
3、提供一角度下采样光场视频数据集；
4、对所述角度下采样光场视频数据集进行mv-hevc编解码，得到解码光场视频数据集；
5、对所述解码光场视频数据集进行光场视频角度重建，完成对光场视频的压缩。
6、优选地，所述提供一角度下采样光场视频数据集，包括：
7、将光场小透镜视频转换为5×5的多视图视频；
8、对所述多视图视频进行角度下采样，只保留稀疏的2×2个角视图序列，得到稀疏视点的光场视频数据，构建得到角度下采样光场视频数据集。
9、优选地，所述对所述角度下采样光场视频数据集进行mv-hevc编解码，包括：
10、分别确定所述角度下采样光场视频数据集中每个光场视频数据的视图间预测结构和时间上预测结构；
11、将所述角度下采样光场视频数据集转换为yuv格式，并设置hevc编码配置文件，基于所述视图间预测结构和时间上预测结构，通过mv-hevc对格式转换后的视频进行稀疏编码，得到传输码流；
12、在解码端对所述传输码流进行解码，得到解码后的光场视频，构建解码光场视频数据集。
13、优选地，所述对所述解码光场视频数据集进行光场视频角度重建，包括：
14、提取所述解码光场视频数据集的光场空间特征、角度特征以及空间-角度特征，合成中间视图，得到初步重建的完整光场视频；
15、利用可变形卷积在所述初步重建的完整光场视频的基础上聚合时间信息，每四帧进行一次处理，得到时域增强的光场视频；
16、利用3d残差卷积在所述时域增强的光场视频的基础上进一步补充纹理细节，得到高质量的光场视频，完成光场视频角度重建。
17、优选地，所述提取所述解码光场视频数据集的光场空间特征、角度特征以及空间-角度特征，合成中间视图，得到初步重建的完整光场视频，包括：
18、利用不同类型的卷积操作分别提取所述解码光场视频数据集的光场空间特征、角度特征以及空间-角度特征，并合成中间视图；
19、对所述中间视图利用角度卷积进行下采样，然后利用像素混洗操作进行上采样，得到初步重建的完整光场视频。
20、优选地，所述利用可变形卷积在所述初步重建的完整光场视频的基础上聚合时间信息，每四帧进行一次处理，得到时域增强的光场视频，包括：
21、将每个图像组内的四帧光场连接起来，并通过卷积操作预测得到偏移量和调制系数；
22、根据对应的偏移量和调制系数分别对初步重建的完整光场视频的每个图像组内的四帧光场进行可变形卷积，动态调整可变形卷积核大小和位置，得到时域增强的光场视频。
23、优选地，所述利用3d残差卷积在所述时域增强的光场视频的基础上进一步补充纹理细节，得到高质量的光场视频，包括：
24、利用3d残差卷积同时处理所述时域增强的光场视频的光场空间维度和角度维度，得到具有纹理细节的残差图；
25、将所述残差图与所述时域增强的光场视频相加，得到高质量的光场视频。
26、根据本发明的第二个方面，提供了一种基于稀疏编码与角度重建的光场视频压缩系统，包括：
27、角度下采样模块，该模块用于提供一角度下采样光场视频数据集；
28、mv-hevc编解码模块，该模块用于对所述角度下采样光场视频数据集进行mv-hevc编解码，得到解码光场视频数据集；
29、联合重建模块，该模块用于对所述解码光场视频数据集进行光场视频角度重建，完成对光场视频的压缩。
30、优选地，所述mv-hevc编解码模块，包括：
31、预测结构确定模块，该模块用于分别确定所述角度下采样光场视频数据集中每个光场视频数据的视图间预测结构和时间上预测结构；
32、mv-hevc编码模块，该模块用于将所述角度下采样光场视频数据集转换为yuv格式，并设置hevc编码配置文件，基于所述视图间预测结构和时间上预测结构，通过mv-hevc对格式转换后的视频进行稀疏编码，得到传输码流；
33、mv-hevc解码模块，该模块用于在解码端对所述传输码流进行解码，得到解码后的光场视频，构建解码光场视频数据集。
34、优选地，所述联合重建模块，包括：
35、空间角度特征提取模块，该模块用于提取所述解码光场视频数据集的光场空间特征、角度特征以及空间-角度特征，合成中间视图，得到初步重建的完整光场视频；
36、可变形卷积融合模块，该模块利用可变形卷积在所述初步重建的完整光场视频的基础上聚合时间信息，每四帧进行一次处理，得到时域增强的光场视频；
37、视图细化模块，该模块利用3d残差卷积在所述时域增强的光场视频的基础上进一步补充纹理细节，得到高质量的光场视频，完成光场视频角度重建。
38、优选地，所述空间角度特征提取模块，包括：
39、空间卷积单元，提取同一视图的像素信息，得到空间特征；
40、角度卷积单元，提取同一微图像的像素信息，得到角度特征；
41、水平方向epi卷积单元，提取水平方向epi切片像素信息，得到空间-角度特征；
42、垂直方向epi卷积单元，提取垂直方向epi切片像素信息，得到空间-角度特征。
43、优选地，所述可变形卷积融合模块，包括：
44、偏移调制预测单元，连接每个图像组内的四帧光场，预测得到偏移量和调制系数；
45、可变形卷积单元，对初步重建的完整光场视频的每个图像组内的四帧光场分别进行可变形卷积，对齐时间特征，得到时域增强的光场视频。
46、优选地，所述视图细化模块，包括：
47、3d卷积单元，利用连续的3d残差卷积块同时处理光场的空间维度和角度维度，得到残差信息；
48、残差相加单元，将残差信息与时域增强的光场视频相加，得到高质量的光场视频。
49、根据本发明的第三个方面，提供了一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该计算机程序时可用于执行本发明上述中任一项所述的方法，或，运行本发明上述中任一项所述的系统。
50、根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可用于执行本发明上述中任一项所述的方法，或，运行本发明上述中任一项所述的系统。
51、对光场视频进行角度下采样，利用mv-hevc对稀疏视点进行编解码，然后利用一个联合时间-空间-角度重建网络充分提取光场的时间、空间和角度信息，以重建出完整的高质量的光场视频。该系统可实现光场视频的高效压缩，在压缩比特率和重建质量上均有较大改善。
52、由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
53、本发明提供的基于稀疏编码与角度重建的光场视频压缩方法及系统，利用mv-hevc编码稀疏视点，视点间的预测结构基于相似性灵活确定，实现低码率压缩；利用联合时间-空间-角度重建网络提取光场视频的空间信息、角度信息和时间信息，缓解遮挡影响，补充纹理细节，实现高质量重建。
54、本发明提供的基于稀疏编码与角度重建的光场视频压缩方法及系统，基于多种类型的卷积单元，分别提取光场的空间特征、角度特征和空间-角度相关特征，将各种类型的特征堆叠以充分利用光场不同维度的信息，合成光场视图，初步重建出完整的光场视频。
55、本发明提供的基于稀疏编码与角度重建的光场视频压缩方法及系统，利用可变形卷积融合技术，同时处理光场一个图像组中的四帧光场特征，融合时间信息，将不同的特征对齐，从而缓解在视图合成过程中因遮挡带来的像素缺失问题，得到时域增强的光场视频。
56、本发明实施例中的基于稀疏编码与角度重建的光场视频压缩方法及系统，利用3d残差块同时处理光场的空间维度和角度维度，有效细化和融合关键特征，恢复纹理细节，修复视差结构，同时引入残差学习，使得网络训练更加稳定，提高训练效率和重建精度。
57、本发明实施例中的基于稀疏编码与角度重建的光场视频压缩方法及系统，针对目前光场压缩方法缺乏的现状，创建新的数据集以及迁移方法实验，得到可行的光场视频压缩方案。
1.一种基于稀疏编码与角度重建的光场视频压缩方法，其特征在于，包括：
2.根据权利要求1所述的基于稀疏编码与角度重建的光场视频压缩方法，其特征在于，所述提供一角度下采样光场视频数据集，包括：
3.根据权利要求1所述的基于稀疏编码与角度重建的光场视频压缩方法，其特征在于，所述对所述角度下采样光场视频数据集进行mv-hevc编解码，包括：
4.根据权利要求3所述的基于稀疏编码与角度重建的光场视频压缩方法，其特征在于，还包括如下任意一项或任意多项：
5.根据权利要求1所述的基于稀疏编码与角度重建的光场视频压缩方法，其特征在于，所述对所述解码光场视频数据集进行光场视频角度重建，包括：
6.根据权利要求5所述的基于稀疏编码与角度重建的光场视频压缩方法，其特征在于，还包括如下任意一项或任意多项：
7.根据权利要求6所述的基于稀疏编码与角度重建的光场视频压缩方法，其特征在于，所述利用不同类型的卷积操作分别提取所述解码光场视频数据集的光场空间特征、角度特征以及空间-角度特征，并合成中间视图，包括：
8.一种基于稀疏编码与角度重建的光场视频压缩系统，其特征在于，包括：
9.一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，该处理器执行该计算机程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
