视频编码方法、视频编码器、介质以及处理视频比特流的方法与流程

    技术2024-11-08  40


    本公开描述总体上涉及视频编解码的实施例。


    背景技术:

    1、本文所提供的背景描述旨在整体呈现本公开的背景。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度,并不表明其在本公开提交时作为现有技术,且从未明示或暗示其被承认为本公开的现有技术。

    2、通过具有运动补偿的帧间图片预测技术,可以进行视频编码和解码。未压缩的数字视频可包括一系列图片,每个图片具有例如1920×1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率),例如每秒60个图片或60hz。未压缩的视频具有非常大的比特率要求。例如,每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率,60hz帧率)要求接近1.5gbit/s带宽。一小时这样的视频就需要超过600gb的存储空间。

    3、视频编码和解码的一个目的,是通过压缩减少输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽或存储空间的要求,在某些情况下可降低两个或更多数量级。无损和有损压缩,以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时,重建信号可能与原始信号不完全相同,但是原始信号和重建信号之间的失真足够小,使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如,相比于电视应用的用户,某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出:较高的允许/容许失真可产生较高的压缩比。

    4、视频编码器和解码器可利用几大类技术,例如包括:运动补偿、变换、量化和熵编码。

    5、视频编解码器技术可包括已知的帧内编码技术。在帧内编码中,在不参考先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中,图片在空间上被细分为样本块。当所有的样本块都以帧内模式编码时,该图片可以为帧内图片。帧内图片及其衍生(例如独立解码器刷新图片)可用于复位解码器状态,并且因此可用作编码视频比特流和视频会话中的第一图片,或用作静止图像。帧内块的样本可用于变换,且可在熵编码之前量化变换系数。帧内预测可以是使预变换域中的样本值最小化的技术。在某些情形下,变换后的dc值越小,且ac系数越小,则在给定的量化步长尺寸下需要越少的比特来表示熵编码之后的块。

    6、如同从诸如mpeg-2代编码技术中所获知的,传统帧内编码不使用帧内预测。然而,一些较新的视频压缩技术包括:试图从例如周围样本数据和/或元数据中得到数据块的技术,其中周围样本数据和/或元数据是在空间相邻的编码/解码期间、且在解码顺序之前获得的。这种技术后来被称为"帧内预测"技术。需要注意的是,至少在某些情形下,帧内预测仅使用正在重建的当前图片的参考数据,而不使用参考图片的参考数据。

    7、可以存在许多不同形式的帧内预测。当在给定的视频编码技术中可以使用超过一种这样的技术时,所使用的技术可以按帧内预测模式进行编码。在某些情形下,模式可具有子模式和/或参数,且这些模式可单独编码或包含在模式码字中。将哪个码字用于给定模式/子模式/参数组合会通过帧内预测影响编码效率增益,因此用于将码字转换成比特流的熵编码技术也会出现这种情况。

    8、h.264引入了一种帧内预测模式,其在h.265中进行了改进,且在诸如联合开发模型(jem)/通用视频编码(vvc)/基准集合(bms)的更新的编码技术中进一步被改进。通过使用属于已经可用的样本的相邻样本值可以形成预测块。在一些示例中,将相邻样本的样本值按照某一方向复制到预测块中。对所使用方向的引用可以被编码在比特流中,或者本身可以被预测。

    9、参照图1a,右下方描绘了来自h.265的33个可能的预测方向(对应于35个帧内模式的33个角模式)中已知的九个预测方向的子集。箭头会聚的点(101)表示正在被预测的样本。箭头表示样本正在被预测的方向。例如,箭头(102)表示根据右上方与水平方向成45度角的一个或多个样本,预测样本(101)。类似地,箭头(103)表示根据左下方与水平方向成22.5度角的一个或多个样本,预测样本(101)。

    10、仍然参考图1a,在左上方示出了一个包括4×4个样本的正方形块(104)(由粗虚线表示)。正方形块(104)包括16个样本,每个样本用“s”、以及其在y维度上的位置(例如,行索引)和在x维度上的位置(例如,列索引)来标记。例如,样本s21是y维度上的第二个样本(从顶部开始)和x维度上的第一个样本(从左侧开始)。类似地,样本s44在y维度和x维度上都是块(104)中的第四个样本。由于该块为4×4大小的样本,因此s44位于右下角。还示出了遵循类似编号方案的参考样本。参考样本用r、以及其相对于块(104)的y位置(例如,行索引)和x位置(例如,列索引)来标记。在h.264与h.265中,预测样本与正在重建的块相邻,因此不需要使用负值。

    11、通过从信号通知的预测方向所占用的相邻样本来复制参考样本值,可以进行帧内图片预测。例如,假设编码视频比特流包括信令,对于该块,该信令指示与箭头(102)一致的预测方向,即,根据右上方与水平方向成45度角的一个或多个预测样本来预测样本。在这种情况下,根据同一参考样本r05来预测样本s41、s32、s23和s14。然后,根据参考样本r08来预测样本s44。

    12、在某些情况下,例如通过内插,可以合并多个参考样本的值,以便计算参考样本,尤其是当方向不能被45度整除时。

    13、随着视频编码技术的发展,可能的方向的数量已经增加了。在h.264(2003年)中,可以表示九种不同的方向。在h.265(2013年)和jem/vvc/bms中增加到了33个,而在此申请时,可以支持多达65个方向。已经进行了实验来识别最可能的方向,并且熵编码中的某些技术被用于使用少量比特来表示那些可能的方向,对于较不可能的方向则接受某些代价。此外,有时可以根据在相邻的、已经解码的块中所使用的相邻方向来预测方向本身。

    14、在图1b中示出了在hevc中使用的多个帧内预测模式。在hevc中,共有35种帧内预测模式。其中,模式10是水平模式。模式26是垂直模式。并且,模式2,18和34是对角线模式。帧内预测模式由三种最可能的模式(most probable mode,mpm)和其余32种模式发出信号。

    15、图1c示出了在vvc中使用的多个帧内预测模式。在vvc中,如图1c所示,共有95种帧内预测模式。其中,模式18是水平模式。模式50是垂直模式。并且,模式2,34和66是对角线模式。模式和模式被称为广角帧内预测(wide-angle intra prediction,waip)模式。

    16、表示方向的已编码视频比特流中的帧内预测方向比特的映射可以因视频编码技术的不同而不同,并且,例如可以从对帧内预测模式到码字的预测方向的简单直接映射,到包括最可能的模式(most probable modes,mpms)和类似技术的复杂的自适应方案。然而,在所有情况下,视频内容中可能存在某些方向,其在统计学上比其它方向更不可能出现。由于视频压缩的目的是减少冗余,所以在运行良好的视频编码技术中,与更可能的方向相比,那些不太可能的方向将使用更多数量的比特来表示。

    17、通过具有运动补偿的帧间图片预测技术,可以进行视频编码和解码。未压缩的数字视频可包括一系列图片,每个图片具有例如1920×1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率),例如每秒60个图片或60hz。未压缩的视频具有非常大的比特率要求。例如,每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率,60hz帧率)要求接近1.5gbit/s带宽。一小时这样的视频就需要超过600gb的存储空间。

    18、运动补偿可以是一种有损压缩技术,且可涉及如下技术:来自先前重建的图片或重建图片一部分(参考图片)的样本数据块在空间上按运动矢量(下文称为mv)指示的方向移位后,用于新重建的图片或图片部分的预测。在某些情况下,参考图片可与当前正在重建的图片相同。mv可具有两个维度x和y,或者三个维度,其中第三个维度表示使用中的参考图片(后者间接地可为时间维度)。

    19、在一些视频压缩技术中,应用于某个样本数据区域的mv可根据其它mv来预测,例如根据与正在重建的区域空间相邻的另一个样本数据区域相关的、且按解码顺序在该mv前面的那些mv。这样做可以大大减少编码mv所需的数据量,从而消除冗余信息并增加压缩量。mv预测可以有效地进行,例如,当对从相机导出的输入视频信号(称为自然视频)进行编码时,存在一种统计上的可能性,即面积大于单个mv适用区域的区域,会朝着类似的方向移动,因此,在某些情况下,可以用相邻区域的mv导出的相似运动矢量进行预测。这导致针对给定区域发现的mv与根据周围mv预测的mv相似或相同,并且在熵编码之后,又可以用比直接编码mv时使用的比特数更少的比特数来表示。在某些情况下,mv预测可以是对从原始信号(即样本流)导出的信号(即mv)进行无损压缩的示例。在其它情况下,mv预测本身可能是有损的,例如由于根据几个周围mv计算预测值时产生的取整误差。

    20、h.265/hevc(itu-t h.265建议书,“高效视频编解码(high efficiency videocoding)”,2016年12月)中描述了各种mv预测机制。在h.265提供的多种mv预测机制中,本公开描述的是下文称作“空间合并”的技术。

    21、请参考图1d,当前块(101)包括在运动搜索过程期间已由编码器发现的样本,根据已产生空间偏移的相同大小的先前块,可预测所述样本。另外,可从一个或多个参考图片相关联的元数据中导出所述mv,而非对mv直接编码。例如,使用关联于a0、a1和b0、b1、b2(分别对应102到106)五个周围样本中的任一样本的mv,(按解码次序)从最近的参考图片的元数据中导出所述mv。在h.265中,mv预测可使用相邻块也正在使用的相同参考图片的预测值。形成候选列表的顺序可以是a0→b0→b1→a1→b2。


    技术实现思路

    1、根据示例性实施例,提出了一种在视频解码器中执行的视频解码方法。所述方法包括接收包括当前图片的已编码视频比特流。所述方法进一步包括对所述当前图片中的当前块执行逆量化。所述方法进一步包括,在执行所述逆量化之后,对所述当前块执行逆变换。所述方法进一步包括,在执行所述逆变换之后,对所述当前块执行预测过程。所述方法进一步包括,对所述当前块执行预测过程之后,确定是否满足预定条件。所述方法进一步包括,当确定满足所述预定条件时,对所述当前块执行逆颜色变换。

    2、根据示例性实施例,提出了一种用于视频解码的视频解码器,其中,该视频解码器包括处理电路,所述处理电路用于接收包括当前图片的已编码视频比特流。所述处理电路进一步用于对所述当前图片中的当前块执行逆量化。所述处理电路进一步用于在执行所述逆量化之后,对所述当前块执行逆变换。所述处理电路进一步用于在执行所述逆变换之后,对所述当前块执行预测过程。所述处理电路进一步用于,对所述当前块执行预测过程之后,确定是否满足预定条件。所述处理电路进一步用于,当确定满足所述预定条件时,对所述当前块执行逆颜色变换。

    3、根据示例性实施例,提出了一种非易失性计算机可读介质,所述非易失性计算机可读介质存储指令,当所述指令被视频解码器中的处理器执行时,使得所述视频解码器执行一个方法,其中,该方法包括:接收包括当前图片的已编码视频比特流。所述方法进一步包括,对所述当前图片中的当前块执行逆量化。所述方法进一步包括,在执行所述逆量化之后,对所述当前块执行逆变换。所述方法进一步包括,在执行所述逆变换之后,对所述当前块执行预测过程。所述方法进一步包括,对所述当前块执行预测过程之后,确定是否满足预定条件。所述方法进一步包括,当确定满足所述预定条件时,对所述当前块执行逆颜色变换。


    技术特征:

    1.一种视频编码方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述颜色变换是自适应颜色变换act。

    3.根据权利要求1所述的方法,其特征在于,所述执行所述颜色变换包括:

    4.根据权利要求3所述的方法,其特征在于,所述常数是对输入样本的比特深度减1,再执行左移操作导出的。

    5.根据权利要求1所述的方法,其特征在于,所述颜色变换与具有最大编码单元cu的每个编码树单元ctu相关联。

    6.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:当确定将每个颜色分量的不同变换单元分割树应用于帧内切片时,将所述颜色变换应用于帧间切片。

    7.根据权利要求1至6任一项所述的方法,其特征在于,进一步包括:

    8.根据权利要求1至6任一项所述的方法,其特征在于,进一步包括:

    9.一种用于视频编码的视频编码器,其特征在于,包括处理电路,其中,所述处理电路用于执行如权利要求1至8任意一项所述的方法。

    10.一种非易失性计算机可读介质,其特征在于,所述非易失性计算机可读介质存储指令,当所述指令被处理器执行时,执行如权利要求1至8任意一项所述的方法。

    11.一种处理视频比特流的方法,其特征在于,在非易失性计算机可读存储介质上存储视频比特流,所述视频比特流根据权利要求1至8任一项所述的编码方法产生。


    技术总结
    本公开实施例公开了一种视频解码方法、视频解码器及介质。所述方法包括接收包括当前图片的已编码视频比特流。所述方法进一步包括对所述当前图片中的当前块执行逆量化。所述方法进一步包括,在执行所述逆量化之后,对所述当前块执行逆变换。所述方法进一步包括,在执行所述逆变换之后,对所述当前块执行预测过程。所述方法进一步包括,对所述当前块执行预测过程之后,确定是否满足预定条件。所述方法进一步包括,当确定满足所述预定条件时,对所述当前块执行逆颜色变换。

    技术研发人员:赵欣,许晓中,李翔,刘杉
    受保护的技术使用者:腾讯美国有限责任公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-21758.html

    最新回复(0)