视频处理方法、装置、设备及计算机可读存储介质与流程

    技术2025-01-17  38


    本申请涉及视频生成,尤其涉及一种视频处理方法、装置、设备及计算机可读存储介质。


    背景技术:

    1、在视频生成领域,视频插帧(vfi,video frame interpolation)技术作为一种视频帧率提升方法,可以有效提升视频播放的流畅度和用户的观看体验。视频插帧的一般操作方法是给定两帧输入图像i1和i2,生成两者之间的中间帧图像ii,并将ii插入至i1与i2之间的位置。

    2、相关技术中的视频插帧方法的视频插帧性能受到光流估计算法性能的限制,即通常依赖于光流估计算法来计算精确的帧间运动信息,并进一步利用图像变形生成中间帧图像。然而,精确的光流(of,optical flow)估计不一定能够带来下游视频帧生成任务的持续增益,利用相关技术中的视频插帧方法所生成的中间帧图像通常存在模糊,伪影或跳变等问题,导致中间视频帧生成质量降低。


    技术实现思路

    1、为解决相关技术中存在的技术问题,本申请实施例提供一种视频处理方法、装置、设备及计算机可读存储介质。

    2、为达到上述目的,本申请实施例的技术方案是这样实现的:

    3、第一方面,本申请实施例提供了一种视频处理方法,所述方法包括:

    4、获取第一视频片段和第二视频片段;所述第一视频片段和所述第二视频片段为待拼接视频中处于同一场景的不同视频片段;

    5、对所述第一视频片段和所述第二视频片段进行帧提取,得到所述第一视频片段对应的第一视频帧和所述第二视频片段对应的第二视频帧;

    6、确定所述第一视频帧到所述第二视频帧的第一光流强度,以及所述第二视频帧到所述第一视频帧的第二光流强度;

    7、基于所述第一视频帧、所述第二视频帧、所述第一光流强度、所述第二光流强度以及位移因子,生成目标中间视频帧;所述位移因子表征所述目标中间视频帧的位置。

    8、第二方面,本申请实施例还提供了一种视频处理装置,包括:

    9、获取单元,用于获取第一视频片段和第二视频片段;所述第一视频片段和所述第二视频片段为待拼接视频中处于同一场景的不同视频片段;

    10、提取单元,用于对所述第一视频片段和所述第二视频片段进行帧提取,得到所述第一视频片段对应的第一视频帧和所述第二视频片段对应的第二视频帧;

    11、第一确定单元,用于确定所述第一视频帧到所述第二视频帧的第一光流强度,以及所述第二视频帧到所述第一视频帧的第二光流强度;

    12、生成单元,用于基于所述第一视频帧、所述第二视频帧、所述第一光流强度、所述第二光流强度以及位移因子,生成目标中间视频帧;所述位移因子表征所述目标中间视频帧的位置。

    13、第三方面,本申请实施例还提供了一种视频处理设备,包括:处理器和用于存储能够在所述处理器上运行的计算机程序的存储器;

    14、其中,所述处理器用于运行所述计算机程序时,执行本申请实施例所述的视频处理方法的步骤。

    15、第四方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例所述的视频处理方法的步骤。

    16、本申请实施例提供的视频处理方法、装置、设备及计算机可读存储介质,通过获取待拼接视频中处于同一场景的不同视频片段,即第一视频片段和第二视频片段;对所述第一视频片段和所述第二视频片段进行帧提取,得到所述第一视频片段对应的第一视频帧和所述第二视频片段对应的第二视频帧;确定所述第一视频帧到所述第二视频帧的第一光流强度,以及所述第二视频帧到所述第一视频帧的第二光流强度;基于所述第一视频帧、所述第二视频帧、所述第一光流强度、所述第二光流强度以及位移因子,生成目标中间视频帧;所述位移因子表征所述目标中间视频帧的位置。采用本申请实施例的视频处理方法,对不同视频帧之间的光流强度进行光流粗估计,从而基于粗估计的光流强度和待拼接的视频帧生成目标中间视频帧,也就是说,通过将视频插帧任务的重心从精确的光流估计迁移到最终任务即中间视频帧生成上,以缓解光流估计性能限制对插帧性能的影响,提升中间视频帧的生成质量,从而避免了中间视频帧生成质量对光流估计性能的过分依赖。



    技术特征:

    1.一种视频处理方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述对所述第一视频片段和所述第二视频片段进行帧提取,得到所述第一视频片段对应的第一视频帧和所述第二视频片段对应的第二视频帧,包括:

    3.根据权利要求1所述的方法,其特征在于,所述确定所述第一视频帧到所述第二视频帧的第一光流强度,以及所述第二视频帧到所述第一视频帧的第二光流强度,包括:

    4.根据权利要求3所述的方法,其特征在于,在所述估计所述下采样后的第一视频帧到所述下采样后的第二视频帧的第一光流强度,以及所述下采样后的第二视频帧到所述下采样后的第一视频帧的第二光流强度之后,所述方法还包括:

    5.根据权利要求1所述的方法,其特征在于,在所述基于所述第一视频帧、所述第二视频帧、所述第一光流强度、所述第二光流强度以及位移因子,生成目标中间视频帧之前,所述方法还包括:

    6.根据权利要求5所述的方法,其特征在于,所述确定视频插帧数量,包括:

    7.根据权利要求6所述的方法,其特征在于,所述基于所述第三视频片段和所述第四视频片段的光流估计,确定所述视频插帧数量,包括:

    8.根据权利要求1所述的方法,其特征在于,所述基于所述第一视频帧、所述第二视频帧、所述第一光流强度、所述第二光流强度以及位移因子,生成目标中间视频帧,包括:

    9.根据权利要求8所述的方法,其特征在于,所述基于所述第一视频帧、所述第一光流强度以及所述位移因子,确定第一候选视频帧,包括:

    10.根据权利要求8所述的方法,其特征在于,所述基于所述第一候选视频帧、所述第二候选视频帧以及融合参数,生成所述目标中间视频帧,包括:

    11.根据权利要求10所述的方法,其特征在于,在所述确定优化后的第一候选视频帧、优化后的第二候选视频帧以及优化后的融合参数之后,所述方法还包括:

    12.根据权利要求1所述的方法,其特征在于,在所述基于所述第一视频帧、所述第二视频帧、所述第一光流强度、所述第二光流强度以及位移因子,生成目标中间视频帧之后,所述方法还包括:

    13.一种视频处理装置,其特征在于,包括:

    14.一种视频处理设备,其特征在于,包括:处理器和用于存储能够在所述处理器上运行的计算机程序的存储器;

    15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12任一项所述方法的步骤。


    技术总结
    本申请公开了一种视频处理方法、装置、设备及计算机可读存储介质。其中,方法包括:获取第一视频片段和第二视频片段;所述第一视频片段和所述第二视频片段为待拼接视频中处于同一场景的不同视频片段;对所述第一视频片段和所述第二视频片段进行帧提取,得到所述第一视频片段对应的第一视频帧和所述第二视频片段对应的第二视频帧;确定所述第一视频帧到所述第二视频帧的第一光流强度,以及所述第二视频帧到所述第一视频帧的第二光流强度;基于所述第一视频帧、所述第二视频帧、所述第一光流强度、所述第二光流强度以及位移因子,生成目标中间视频帧;所述位移因子表征所述目标中间视频帧的位置。

    技术研发人员:叶晓倩,王千,杜瞻,闫敏,柳欣,冯俊兰,邓超
    受保护的技术使用者:中国移动通信有限公司研究院
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-25082.html

    最新回复(0)