本申请涉及计算机,具体而言,涉及一种视频显示方法、装置、电子设备和存储介质。
背景技术:
1、随着家庭音视频通信业务朝着多态化和泛在化的方向发展,用户得以借助音箱、摄像头、门铃等常用设备,随时随地获取音视频通信服务。而异构设备的增加,导致屏幕分辨率多态化,大小屏间视频通信时屏幕分辨率无法相互适配。低分辨率视频通过大屏设备显示会出现画质模糊、块效应严重等情况。此外,终端设备算力存在较大差距,部分设备无法支持较高分辨率的视频显示。
2、因此,如何使得低分辨率的视频能够在高分辨率的屏幕中进行显示,提高视频通话质量成为业界亟待解决的技术问题。
技术实现思路
1、本申请提供一种视频显示方法、装置、电子设备和存储介质,用于解决如何使得低分辨率的视频能够在高分辨率的屏幕中进行显示,提高视频通话质量的技术问题。
2、本申请提供一种视频显示方法,包括:
3、获取第一视频;
4、将所述第一视频输入至超分辨率处理模型,得到所述超分辨率处理模型输出的第二视频;
5、显示所述第二视频;
6、其中,所述超分辨率处理模型用于对所述第一视频中的第一视频帧图像进行下采样得到第二视频帧图像;基于所述第一视频帧图像和所述第二视频帧图像,确定从所述第二视频帧图像对应的分辨率到所述第一视频帧图像对应的分辨率的纹理转换关系;基于所述纹理转换关系对所述第一视频帧图像进行超分辨率处理,得到第三视频帧图像;基于所述第三视频帧图像,得到所述第二视频。
7、在一些实施例中,所述超分辨率处理模型包括依次连接的纹理注意力模块和特征识别模块;
8、所述纹理注意力模块,用于基于所述第二视频帧图像确定查询向量,基于所述第一视频帧图像确定键向量和值向量;基于所述查询向量和所述键向量,确定纹理注意力特征图;基于所述纹理注意力特征图和所述值向量,确定纹理重建特征;
9、所述特征识别模块,用于基于所述纹理重建特征,确定所述第三视频帧图像。
10、在一些实施例中,所述超分辨率处理模型是基于如下步骤得到的:
11、对所述超分辨率处理模型对应的初始模型进行训练,得到所述超分辨率处理模型对应的训练模型;
12、获取所述训练模型的特征识别模块中各个特征识别子模块的模型参数;
13、基于各个特征识别子模块的模型参数,对各个特征识别子模块进行重参数化,得到重参数化后的特征识别子模块;
14、基于所述重参数化后的特征识别子模块,得到所述超分辨率处理模型对应的应用模型。
15、在一些实施例中,所述基于各个特征识别子模块的模型参数,对各个特征识别子模块进行重参数化,得到重参数化后的特征识别子模块,包括:
16、基于所述特征识别子模块中各个卷积层的模型参数和各个批量归一化层的模型参数,对所述特征识别子模块中相邻的卷积层和批量归一化层进行合并,得到合并后的卷积层;
17、采用边缘填充操作对所述合并后的卷积层进行尺寸调整;
18、对所述特征识别子模块中并行设置的多个相同尺寸的卷积层进行合并。
19、在一些实施例中,所述获取第一视频之前,所述方法还包括:
20、将接收端设备的算力配置信息和屏幕分辨率信息发送至服务端设备,以使所述服务端设备基于所述算力配置信息、所述屏幕分辨率信息和所述第一视频的分辨率信息,确定超分辨率放大倍数;
21、接收所述服务端设备发送的超分辨率放大倍数和所述第一视频;所述超分辨率放大倍数用于从所述接收端设备中存储的各个候选超分辨率处理模型中确定所述超分辨率处理模型。
22、在一些实施例中,所述将接收端设备的算力配置信息和屏幕分辨率信息发送至服务端设备,包括:
23、基于会话初始协议与所述服务端设备建立会话连接;
24、将所述算力配置信息和所述屏幕分辨率信息写入第一会话描述协议报文;
25、将所述第一会话描述协议报文发送至所述服务端设备。
26、在一些实施例中,所述接收所述服务端设备发送的超分辨率放大倍数和所述第一视频,包括:
27、接收所述服务端设备发送的第二会话描述协议报文和所述第一视频;所述服务端设备用于将所述超分辨率放大倍数写入所述第二会话描述协议报文。
28、本申请提供一种视频显示装置,包括:
29、获取模块,用于获取第一视频;
30、处理模块,用于将所述第一视频输入至超分辨率处理模型,得到所述超分辨率处理模型输出的第二视频;
31、显示模块,用于显示所述第二视频;
32、其中,所述超分辨率处理模型用于对所述第一视频中的第一视频帧图像进行下采样得到第二视频帧图像;基于所述第一视频帧图像和所述第二视频帧图像,确定从所述第二视频帧图像对应的分辨率到所述第一视频帧图像对应的分辨率的纹理转换关系;基于所述纹理转换关系对所述第一视频帧图像进行超分辨率处理,得到第三视频帧图像;基于所述第三视频帧图像,得到所述第二视频。
33、本申请提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现所述视频显示方法。
34、本申请提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述视频显示方法。
35、本申请提供的视频显示方法、装置、电子设备和存储介质,将获取的第一视频输入至超分辨率处理模型,得到超分辨率处理模型输出的第二视频,并进行显示;超分辨率处理模型对第一视频中的第一视频帧图像进行下采样得到第二视频帧图像;根据第一视频帧图像和第二视频帧图像,确定从第二视频帧图像对应的分辨率到第一视频帧图像对应的分辨率的纹理转换关系;根据纹理转换关系对第一视频帧图像进行超分辨率处理,得到第三视频帧图像;由于超分辨率处理模型采用了根据超低分辨率图像和低分辨率图像之间的纹理转换关系来模拟低分辨率图像和高分辨率图像之间的纹理转换关系,且超低分辨率图像可以根据低分辨率图像得到,从而实现了对低分辨率图像的超分辨率处理,无需预先获取高分辨率的参考图像,使得小屏幕设备在与大屏幕设备进行视频通信时,低分辨率的视频能够在高分辨率的屏幕中进行自适应显示,提高了视频通话质量。
1.一种视频显示方法,其特征在于,包括:
2.根据权利要求1所述的视频显示方法,其特征在于,所述超分辨率处理模型包括依次连接的纹理注意力模块和特征识别模块;
3.根据权利要求2所述的视频显示方法,其特征在于,所述超分辨率处理模型是基于如下步骤得到的:
4.根据权利要求3所述的视频显示方法,其特征在于,所述基于各个特征识别子模块的模型参数,对各个特征识别子模块进行重参数化,得到重参数化后的特征识别子模块,包括:
5.根据权利要求1至4任一项所述的视频显示方法,其特征在于,所述获取第一视频之前,所述方法还包括:
6.根据权利要求5所述的视频显示方法,其特征在于,所述将接收端设备的算力配置信息和屏幕分辨率信息发送至服务端设备,包括:
7.根据权利要求5所述的视频显示方法,其特征在于,所述接收所述服务端设备发送的超分辨率放大倍数和所述第一视频,包括:
8.一种视频显示装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述视频显示方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频显示方法。