【】本发明是有关于使用灵活块分割类型和/或帧间预测模式(inter predictionmode)的视频编解码，特别是有关于一种透过在满足特定测试条件(test condition)时限制编码树分割来降低复杂性的方法和装置。在另一方面，如果满足某个测试条件，则减少了帧间预测(inter-prediction)工具(或简称为帧间工具)的复杂性。
背景技术
0、
背景技术：
1、高效视频编码(high efficiency video coding，hevc)标准是在itu-t视频编码专家组(vceg)和iso/iec运动图像专家组(mpeg)标准化组织的联合视频项目下开发的，并且高效视频编码与视频编码联合协作组(jct-vc)具有合作关系。在hevc中，一个切片被分割为多个编码树单元(coding tree units，ctu)。在主配置文件中，ctu的最小和最大尺寸由序列参数集(sequence parameter set，sps)中的语法元素指定。允许的ctu尺寸可以是8x8、16x16、32x32或64x64。对于每个切片，依据光栅扫描顺序处理切帧内切片的ctu。
2、ctu被进一步分割为多个编码单元(coding unit，cu)以适应各种局部特性。表示为编码树的四叉树，用于将ctu分割为多个cu。令ctu尺寸为mxm，其中m是64、32或16的值中的一个。ctu可以是单个cu(即，没有分割)或者可以分成四个相同尺寸的较小单元(即，每个的尺寸为m/2xm/2)，对应于编码树的节点。如果单元是编码树的叶节点，则单元变为cu。否则，可以迭代四叉树分割过程，直到节点的尺寸达到序列参数集(sequence parameterset，sps)中指定的最小允许cu尺寸。该表示导致由图1中的编码树(也称为分割树结构)120指定的递归结构。图1中示出了ctu分割110，其中实线指示cu边界。使用帧间(时间)或帧内(空间)预测来编码图像区域的决策是在cu层进行的。由于最小cu尺寸可以是8x8，因此用于在不同基本预测类型之间切换的最小间隔尺寸是8x8。
3、此外，依据hevc，可以将每个cu分割为一个或多个预测单元(prediction unit，pu)。与cu耦合，pu用作共享预测信息的基本代表块。在每个pu内部，应用相同的预测过程，并且基于pu将相关信息发送到解码器。可以依据pu分割类型，将cu分成一个，两个或四个pu。hevc定义了用于将cu分成pu的八种形状，如图2所示，包括2nx2n，2nxn，nx2n，nxn，2nxnu，2nxnd，nlx2n和nrx2n分割类型。与cu不同，pu可以仅依据hevc分割一次。第二行中所示的分割对应于不对称分割，其中两个分割部分具有不同的尺寸。
4、在透过基于pu分割类型的预测过程获得残余块之后，可以依据另一种四叉树结构将cu的预测残差分割为变换单元(tu)，该四叉树结构类似于如图1所示的cu的编码树。实线表示cu边界，虚线表示tu边界。tu是具有用于应用整数变换和量化的残差或变换系数的基本代表性块。对于每个tu，应用具有与tu相同尺寸的一个整数变换以获得残差系数。在以tu为基础量化之后，将这些系数发送到解码器。
5、术语编码树块(coding tree block，ctb)、编码块(coding block，cb)、预测块(prediction block，pb)和变换块(transform block，tb)被定义为指定与ctu、cu、pu和tu分别相关联的一个颜色分量的2-d样本阵列。因此，ctu由一个亮度ctb、两个色度ctb和相关的语法元素组成。类似的关系同样适应于cu、pu和tu。树分割通常同时应用于亮度和色度，但是当达到色度的某些最小尺寸时，存在例外。
6、或者，在jctvc-p1005(d.flynn等人，“hevc range extensions draft 6”，itu-tsg 16wp 3和iso/iec jtc 1/sc 29/wg 11视频编码联合合作团队(jct-vc)，第16次会议：san jose，us，2014.1.9-17，文档:jctvc-p1005)中所提出的二叉树分割结构中，如图3所示，可以使用各种二元分割类型将块递归地分割成两个较小的块。如图3的前两个分割所示，最有效和最简单的是对称水平分割和对称垂直分割。对于尺寸为m×n的给定块，发送一个标志以指示给定块是否被分成两个较小的块。如果是，则发送另一语法元素以指示使用哪种分割类型。如果使用水平分割，则将给定块分成两个尺寸为m×n/2的块。如果使用垂直分割，则将给定块分成两个尺寸为m/2×n的块。可以迭代二叉树分割过程，直到分割块的尺寸(宽度或高度)达到最小允许块尺寸(宽度或高度)为止。可以在诸如sps的高级语法中定义最小允许块尺寸。由于二叉树具有两种分割类型(即水平和垂直)，因此应指示最小允许块宽度和高度。当分割将导致块高度小于指示的最小值时，隐含地暗示非水平分割。当分割将导致块宽度小于指示的最小值时，隐含地暗示非垂直分割。图4示出了块分割410及其对应的二进制树420的示例。在二叉树的每个分割节点(即，非叶节点)中，使用一个标志来指示使用哪种分割类型(水平或垂直)，其中0表示水平分割，1表示垂直分割。
7、二进制树结构可用于将图像区域分割为多个较小的块，诸如将切片分割为ctu，将ctu分割为cu，将cu分割为pu，或将cu分割为tu，等等。二叉树可以用于将ctu分割为cu，其中二叉树的根节点是ctu，二叉树的叶节点是cu。可以透过预测和变换编解码来进一步处理叶节点。为了简化，不存在从cu到pu或从cu到tu的进一步分割，这意味着cu等于pu并且pu等于tu。因此，换句话说，二叉树的叶节点是用于预测和变换编解码的基本单元。
8、二叉树结构比四叉树结构更灵活，因为可以支持更多的分割形状，这也是编解码效率改进的来源。但是，编解码复杂度也会增加，以便选择最佳的分割形状。为了平衡复杂性和编解码效率，已经公开了一种组合四叉树和二叉树结构的方法，也称为四叉树加二叉树(quadtree plus binary tree，qtbt)结构。依据qtbt结构，首先透过四叉树结构分割块，并且可以迭代四叉树分割，直到分割块的尺寸达到最小允许四叉树叶节点尺寸。如果叶四叉树块不大于最大允许二叉树根节点尺寸，则可以透过二叉树结构进一步分割，并且可以迭代二叉树分割，直到分割块的尺寸(宽度或高度)达到最小允许二叉树叶节点尺寸(宽度或高度)或二叉树深度达到最大允许二叉树深度。在qtbt结构中，允许的最小四叉树叶节点尺寸，最大允许二叉树根节点尺寸，最小允许二叉树叶节点宽度和高度以及最大允许二叉树深度可以在高级语法中指示，例如在sps。图5示出了块分割510及其对应的qtbt 520的示例。实线表示四叉树分割，虚线表示二叉树分割。在二叉树的每个分割节点(即，非叶节点)中，一个标志指示使用哪种分割类型(水平或垂直)，0可以指示水平分割，1可以指示垂直分割。
9、上述qtbt结构可用于将图像区域(例如，切片、ctu或cu)分割成多个较小的块，例如将切片分割为ctu，将ctu分割为cu，将cu分割为pu，或将cu分割为多个较小的tu等。例如，qtbt可以用于将ctu分割为cu，其中qtbt的根节点是ctu，其透过qtbt结构分割为多个cu，并且cu透过预测和变换编解码进一步处理。为了简化，不存在从cu到pu或从cu到tu的进一步分割。这意味着cu等于pu并且pu等于tu。因此，换句话说，qtbt结构的叶节点是用于预测和变换的基本单元。
10、对于i切片，qtbt树结构通常应用亮度/色度单独编码。例如，qtbt树结构分别应用于切片i(i-slice)的亮度和色度分量，并且同时应用于p-和b-切片的亮度和色度(除非达到色度的某些最小尺寸)。换句话说，在切片i中，亮度ctb具有其qtbt结构的块分割，并且两个色度ctb具有另一个qtbt结构的块分割。在另一示例中，两个色度ctb还可以具有它们自己的qtbt结构块分割。
11、对于基于块的编解码，总是需要将图像分割成块(例如，cu，pu和tu)以用于编解码目的。如本领域所知，在应用块分割之前，可以将图像分割为较小的图像区域，例如切片、方块(tiles)、ctu行或ctu。将图像分割为块用于编解码目的的过程称为使用编码单元(cu)结构分割图像。用于生成hevc采用的cu、pu和tu的特定分割方法是采用编码单元(cu)结构的示例。qtbt树结构是编码单元(cu)结构的另一示例。
12、为了进一步支持更多分割形状以实现更灵活的分割，三叉树分割方法被设计为捕获位于块中心的对象，而四叉树和二叉树分割方法总是沿块中心分割。图6示出了垂直三叉树分割(610)和水平三叉树分割(620)。透过允许垂直或水平四分之一分割，三叉树分割方法可以提供沿块边界更快地定位小对象的能力。
13、多类型树(multi-type-tree，mtt)块分割透过在mtt的第二级中允许二叉树和三叉树(或也称为三叉树)分割方法来扩展qtbt中的两层树结构的概念。mtt中的两级树分别称为区域树(region tree，rt)和预测树(prediction tree，pt)。第一层rt始终是四叉树(quad-tree，qt)分割，第二级pt可以是二叉树(binary tree，bt)分割或三叉树(tripletree，tt)分割。例如，首先透过rt对ctu进行分割，这是qt分割，并且每个rt叶节点可以进一步由pt分割，其是bt或tt分割。由pt分割的块可以进一步用pt分割，直到达到最大pt深度。例如，可以首先透过垂直bt分割来分割块以生成左子块和右子块，并且透过水平tt分割进一步分割左子块，同时透过水平bt分割进一步分割右子块。pt叶节点是用于预测和变换的基本编码单元，并且不会被进一步分割。
14、图7示出了mtt中的树型信令的示例。如图7所示，在节点710处检查rt分割是否用于分割块。发信号通知(signal)“1”以指示rt分割应用于当前块，如节点720所示。“0”被发信号通知表示rt分割未应用于当前块。在这种情况下，如节点730所示，检查bt分割或tt分割是否应用于当前块。如果bt分割和tt分割都不应用于当前块(即，“0”分支)，则分割进程到达叶节点(如，没有分割)，如节点740所示。如果bt分割或tt分割应用于块(即，“1”分支)，则如节点750所示，系统将进一步发信号以指示它是否是水平分割或垂直分割。如节点760所示，用信号通知“0”以指示bt/tt分割是水平的。如节点770所示，用信号通知“1”以指示bt/tt分割是垂直的。在这种情况下，附加比特被发送以指示它是由节点780指示的bt分割(即，“0”分支)还是由节点790指示的tt分割(即，“1”分支)。类似的信令也应用于节点760处的水平bt/tt分割的情况。
15、在构建mtt块分割之后，mtt叶节点是cu，其用于预测和变换而无需任何进一步的分割。在mtt中，所提出的树结构在切片i中针对亮度和色度单独编码，并且同时应用于切片p和切片b中的亮度和色度(除了在达到色度的某些最小尺寸时)。也就是说，在切片i中，亮度ctb具有一个qtbt结构的块分割，并且两个色度ctb具有另一个qtbt结构的块分割。
16、虽然mtt能够透过自适应地分割块用于预测和变换，来改善性能，但是希望在可能的情况下进一步改善性能以便提升整体效率。
17、合并模式
18、为了提高hevc中的运动矢量(motion vector，mv)编码的编码效率，hevc具有跳过和合并模式。跳过模式和合并模式从空间相邻块(空间候选)或时间同位块(时间候选)获得运动信息。当pu是跳过模式和合并模式时，不编码运动信息。相反，仅编码所选候选的索引。对于跳过模式，残差信号被强制为零而不进行编码。在hevc中，如果特定块被编码为跳过模式或合并模式，则候选索引被发送以指示候选集中的哪个候选用于合并。每个合并的pu重用所选候选的mv，预测方向和参考图像索引。
19、对于hevc参考软件hm-4.0中的合并模式，如图8所示，从a0、a1、b0和b1导出多达四个空间mv候选，并且从tbr或tctr导出一个时间mv候选(首先使用tbr，如果tbr不可用，则使用tctr代替)。注意，如果四个空间mv候选中的任何一个不可用，则位置b2然后用于导出mv候选作为替代。在四个空间mv候选和一个时间mv候选的推导过程之后，应用去除冗余(修剪(pruning))以移除冗余mv候选。如果在去除冗余(修剪)之后，可用mv候选的数量小于5，则三种类型的附加候选被推导并将其添加到候选集合(即，候选列表)。编码器基于速率-失真优化(rdo)策略选择候选集合中的一个最终候选用于跳过或合并模式，并将索引发送到解码器。
20、在下文中，为方便起见，跳过模式和合并模式都可以称为“合并模式”。换句话说，此后的本公开中的“合并模式”可以表示跳过和合并模式。
21、合并模式和amvp模式
22、为了实现hevc中的混合编解码架构的最佳编解码效率，对于每个pu帧间存在两种预测模式(即，帧内预测和帧间预测)。对于帧内预测模式，空间相邻重建像素可用于生成方向预测。hevc最多有35个方向。对于帧间预测模式，时间重建参考帧可用于生成运动补偿预测。有三种不同的模式，包括跳过模式，合并模式和帧间高级运动矢量预测(advancedmotion vector prediction，amvp)模式。
23、当以帧间amvp模式编码pu时，利用可与运动矢量预测(mvp)一起使用的传输运动矢量差(mvd)来执行运动补偿预测，以用于导出运动矢量(mv)。为了在帧间amvp模式中确定mvp，使用高级运动矢量预测(amvp)方案来选择包括两个空间mvp和一个时间mvp的amvp候选集中的运动矢量预测。因此，在amvp模式中，需要对mvp的mvp索引和相应的mvd进行编码和传输。另外，用于指定双向预测中的预测方向的间预测方向，以及列表0(即，l0)和列表1(即，l1)的单向预测，以及每个列表的参考帧索引也应当被编码和传输。
24、当以跳过或合并模式编码pu时，除了所选候选的合并索引之外，不发送运动信息，因为跳过模式和合并模式利用运动推断方法。由于跳过模式和合并模式的运动矢量差(mvd)为零，因此跳过模式或合并模式编码的块的mv与运动矢量预测(mvp)相同(即，mv＝mvp+mvd＝mvp)。因此，跳过模式或合并模式编码的块从同位图像中的空间相邻块(空间候选)或时间块(时间候选)获得运动信息。同位图像是列表0或列表1中的第一参考图像，其在切片报头中被发送。在跳过pu的情况下，也省略残差信号。为了确定跳过模式和合并模式的合并索引，合并方案用于在包含四个空间mvp和一个时间mvp的合并候选集中选择运动矢量预测。
25、图8示出了用于导出amvp和合并方案的空间和时间mvp的相邻pu。在amvp中，左侧mvp是来自a0，a1的第一个可用的mvp，顶级(top)mvp是来自b0、b1、b2的第一个可用的mvp，并且时间mvp是来自tbr或tctr的第一个可用的mvp(首先使用tbr，如果tbr不可用，则使用tctr代替)。如果左侧mvp不可用且顶部mvp未缩放mvp，如果在b0、b1和b2中存在缩放的mvp，则可以导出第二顶部mvp。在hevc中，amvp的mvp的列表尺寸是2。因此，在两个空间mvp和一个时间mvp的推导过程之后，仅前两个mvp可以包括在mvp列表中。如果在去除冗余之后，可用mvp的数量小于2，则将零矢量候选添加到候选列表中。
26、对于跳过模式和合并模式，如图8所示，从a0、a1、b0和b1导出多达四个空间合并索引，并且从tbr或tctr导出一个时间合并索引(首先使用tbr，如果tbr不可用，则使用tctr代替)。请注意，如果四个空间合并索引中的任何一个不可用，则使用位置b2来导出合并索引作为替代。在四个空间合并索引和一个时间合并索引的推导过程之后，应用删除冗余来删除冗余的合并索引。如果在删除冗余之后，可用的合并索引的数量小于5，则导出三种类型的附加候选并将其添加到候选列表中。
27、透过使用原始合并候选来创建附加的双向预测合并候选。附加的候选分为三种候选类型：
28、1.组合双向预测合并候选(候选类型1)
29、2.比例双向预测合并候选(候选类型2)
30、3.零矢量合并/amvp候选(候选类型3)
31、在候选类型1中，透过组合原始合并候选来创建组合的双向预测合并候选。特别地，原始候选中的两个候选俱有mvl0(列表0中的运动矢量)和refidxl0(列表0中的参考图像索引)或mvl1(列表1中的运动矢量)和refidxl1(列表1中的参考图像索引)，用于创建双向预测合并候选。图9示出了组合的双向预测合并候选920的推导过程的示例。候选组910对应于原始候选列表，其包括l0中的mvl0_a，ref0(931)和l1中的mvl1_b，ref(932)。可以透过组合l0和l1中的候选来形成双向预测mvp 933。
32、在候选类型2中，透过缩放原始合并候选来创建缩放的双向预测合并候选。具体地，原始候选具有mvlx(列表x中的运动矢量)和refidxlx(列表x中的参考图像索引)，x可以是0或1。原始候选中的一个候选用于创建双向预测合并候选。例如，一个候选a是具有mvl0_a和ref0的列表0单向预测，首先将ref0复制到列表1中的参考索引ref0'。之后，透过用ref0和ref0'缩放mvl0_a来计算mvl0'_a。然后，创建在列表0中具有mvl0_a和ref0以及在列表1中具有mvl0'_a和ref0'的双向预测合并候选，并将其添加到合并候选列表中。在图10中示出了缩放的双向预测合并候选的导出过程的示例，其中候选列表1010对应于原始候选列表，并且候选列表1020对应于包括两个生成的双向预测mvp的扩展候选列表。
33、在候选类型3中，透过组合可以被参考的零矢量和参考索引来创建零矢量合并/amvp候选。图11a示出了用于添加零矢量合并候选的示例，其中候选列表1110对应于原始合并候选列表，并且候选列表1120对应于透过添加零矢量候选的扩展合并候选列表。图11b示出了用于添加零矢量amvp候选的示例，其中透过添加零矢量候选，候选列表1130(l0)和候选列表1132(l1)对应于原始amvp候选列表，并且候选列表1140(l0)和1142(l1)对应于扩展的amvp候选。如果零矢量候选不重复，则将其添加到合并/amvp候选列表中。
34、pmvd模式或fruc模式
35、基于模式的运动矢量推导(pattern-based motion vector derivation，pmvd)模式(或称为模式匹配运动矢量推导(pattern matched motion vector derivation，pmmvd)或帧速率上转换(frame-rate up-conversion，fruc)模式)是jvet测试模型3(联合)中公开的编码工具(joint video exploration team(jvet)of itu-t sg 16wp 3and iso/iecjtc 1/sc 29/wg 11:3rd meeting:geneva，ch，26may–1june 2016，document title:algorithm description of joint exploration test model 3)，可以使用l形模板或双侧模板来细化合并模式的mv并保存mvd的比特。
技术实现思路
0、
技术实现要素：
1、依据本发明的实施方式，提出了一种用于视频编码系统或视频解码系统的视频编码的方法和装置。依据该方法，使用包括三叉树分割和至少一个其他类型分割的子树分割的一个或多个阶段将当前块分割为多个最终子块，其中如果与当前子块相关联的当前树深度大于第一阈值，并且该第一阈值是大于或等于1的整数，则从子树分割中排除该三叉树分割。
2、至少一个其他类型分割包括四叉树分割、二叉树分割，或其组合。当前块可以对应于一个编码树单元(ctb)，并且多个最终子块中的每个对应于一个编码单元(coding unit，cu)、预测单元(prediction unit，pu)或变换单元(prediction unit，tu)。可以在解码器侧预先确定或推断第一阈值。
3、如果与当前子块相关联的当前子树深度大于第一阈值，则用于指示是否为当前子块选择该三叉树分割的指示符被选择。
4、第一阈值对应于最大允许子树分割深度减去第二阈值，其中，该第二阈值小于该最大允许子树分割深度且大于或等于的0。第二阈值的值取决于当前图像是在帧内图像内还是帧间图像内。在视频参数集(video parameter set，vps)、序列参数集(sequenceparameter set，sps)、图像参数集(picture parameter set，pps)、切片头、编码单元，或其组合中，该第二阈值被发送。
5、依据本发明的实施方式，提出了一种使用帧间预测模式的视频编码的方法和装置。如果满足该测试条件，则使用从修改的帧间预测工具组中选择的当前帧间预测模式对该当前块进行编码或在解码器侧对当前块进行解码，其中，透过自初始的帧间预测工具组移除一个或多个第一帧间预测工具、用一个或多个复杂性降低的帧间预测工具来代替一个或多个第二帧间预测工具，或其组合，而自该初始的帧间预测工具组导出修改的帧间预测工具组。
6、一个或多个第一帧间预测工具选自一个组合，该组合包括高级运动矢量预测(advanced motion vector prediction，amvp)、合并、模式匹配运动矢量推导(patternmatched motion vector derivation，pmvd)、局部照明补偿(lic)、仿射编码、邻近导出的预测偏移(npo)、重叠块运动补偿(overlap block motion compensation，obmc)，或其组合。
7、是否满足测试条件取决于与当前块相关联的编码树深度。是否满足测试条件取决于当前块的块尺寸。是否满足测试条件也可取决于与当前块相关联的编码树深度和当前块的块尺寸。
8、在一个实施例中，如果与当前块相关联的编码树深度等于预定义值并且当前块的块尺寸大于或等于阈值，则测试条件被满足。
9、在一个实施例中，当从初始的帧间预测工具组移除目标第一帧间预测工具时，与目标第一帧间预测工具相关联的语法元素未在编码器侧被发送或未在解码器侧被解析以用于当前块。在另一实施例中，当从初始的帧间预测工具组中移除该一个或多个第一帧间预测工具时，当前块透过自候选列表排除一个或多个第一帧间预测工具，而使用具有在该候选列表中候选数量减少的候选列表。
10、依据本发明的实施方式，提出了一种使用帧间预测模式的视频编码的方法和装置。当满足测试条件时，使用包括一个或多个多类型分割的受限编码树结构，将当前块分割为多个最终子块，其中受限编码树结构终止具有编码树分割深度等于阈值的目标子块的编码树分割。
11、是否满足测试条件取决于当前块的块尺寸。是否满足测试条件取决于当前切片的时间层，其中当前切片包括当前块。
12、时间层指的是与图像的时间结构相关联的层(例如，图像i、图像b和图像p)。是否满足测试条件可取决于当前块的最佳预测模式。是否满足测试条件可取决于当前块的宽度和高度的比率。是否满足测试条件可取决于在小于阈值的第二编码树分割深度处对目标子块的先前子块的分割决策。是否满足测试条件还可以取决于当前切片的量化参数，其中当前切片包括当前块。
13、如果编码树分割深度等于阈值，则用于指示目标子块的分割决策的语法元素。
1.一种视频编解码方法，该方法包括：
2.根据权利要求1所述的视频编解码方法，其中该至少一种其他类型的分割包括四叉树分割、二叉树分割或两者。
3.根据权利要求1所述的视频编解码方法，其中该当前块对应于一个编码树单元，并且该多个最终子块中的每一个对应于一个编码单元、预测单元或变换单元。
4.根据权利要求1所述的视频编解码方法，其中该第一阈值是在该解码器侧推断的。
5.根据权利要求1所述的视频编解码方法，其中如果与该当前子块相关联的该当前子树深度大于该第一阈值，则省略用于指示是否为该当前子块选择三叉树分割的指示符。
6.一种视频编解码装置，用于视频解码器或视频编码器，该装置包括一个或多个电子电路或处理器，被布置成：
7.一种视频编解码方法，该方法包括：
8.根据权利要求7所述的视频编解码方法，其特征在于，是否满足该测试条件取决于该当前块的块尺寸。
9.根据权利要求7所述的视频编解码方法，其特征在于，是否满足该测试条件取决于当前切片的时间层，其中该当前切片包括该当前块。
10.根据权利要求7所述的视频编解码方法，其特征在于，是否满足该测试条件取决于该当前块的最佳预测模式。
11.根据权利要求7所述的视频编解码方法，其特征在于，是否满足该测试条件取决于该当前块的宽度和高度的比率。
12.根据权利要求7所述的视频编解码方法，其特征在于，是否满足该测试条件取决于在小于该阈值的第二编码树分割深度处对该目标子块的先前子块的分割决策。
13.根据权利要求7所述的视频编解码方法，其特征在于，是否满足该测试条件取决于当前切片的量化参数，其中该当前切片包括该当前块。
14.根据权利要求7所述的视频编解码方法，其特征在于，如果该编码树分割深度等于该阈值，则省略用于指示该目标子块的分割决定的语法元素。
15.一种视频编解码装置，用于视频解码器或视频编码器，该装置包括一个或多个电子电路或处理器，被布置成：
