本公开涉及提供用于六自由度(6dof)音频渲染的设备、系统和方法，具体地说，与用于6dof音频渲染的数据表示和位流结构有关。
背景技术：
1、目前缺乏用于与用户的六自由度(6dof)移动组合来渲染音频的适当解决方案。尽管存在用于与三自由度(3dof)移动(偏航、俯仰、滚动)组合来渲染通道、对象和一阶/更高阶高保真度立体声响复制(hoa)信号的解决方案，但是缺乏对与用户的六自由度(6dof)移动(偏航、俯仰、滚动和平移移动)组合来处置此类信号的支持。
2、一般地，3dof音频渲染提供声场，其中一或多个音频源在围绕预定听者位置(称为3dof位置)的角位置处被渲染。3dof音频渲染的一个示例被包含在mpeg-h 3d音频标准(缩写为mpeg-h 3da)中。
3、尽管mpeg-h 3da被开发来支持用于3dof的通道、对象和hoa信号，但是它还不能处置真正的6dof音频。预想的mpeg-i 3d音频实现被期望以有效的方式(优选地包含有效的信号生成、编码、解码和/或渲染)将3dof(和3dof+)功能性向6dof 3d音频设备扩展，同时优选地提供3dof渲染向后兼容性。
4、鉴于上述内容，本公开的目的是提供用于3d音频编码和/或3d音频渲染的方法、设备和数据表示和/或位流结构，其允许有效的6dof音频编码和/或渲染，优选地带有用于例如根据mpeg-h 3da标准的3dof音频渲染的向后兼容性。
5、本公开的另一个目的可以是提供用于3d音频编码和/或3d音频渲染的数据表示和/或位流结构，其允许有效的6dof音频编码和/或渲染，优选地带有用于例如根据mpeg-h3da标准的3dof音频渲染的向后兼容性，以及用于有效的6dof音频编码和/或渲染的编码和/或渲染设备，优选地带有用于例如根据mpeg-h 3da标准的3dof音频渲染的向后兼容性。
技术实现思路
1、根据示例性方面，可以提供有一种用于将音频信号编码到位流中(具体地说在编码器处)的方法，该方法包括：将与3dof音频渲染关联的音频信号数据编码和/或包含到位流的一或多个第一位流部分中；和/或将与6dof音频渲染关联的元数据编码和/或包含到位流的一或多个第二位流部分中。
2、根据示例性方面，与3dof音频渲染关联的音频信号数据包含一或多个音频对象的音频信号数据。
3、根据示例性方面，一或多个音频对象位于围绕默认3dof听者位置的一或多个球体上。
4、根据示例性方面，与3dof音频渲染关联的音频信号数据包含一或多个音频对象的方向数据和/或一或多个音频对象的距离数据。
5、根据示例性方面，与6dof音频渲染关联的元数据指示一或多个默认3dof听者位置。
6、根据示例性方面，与6dof音频渲染关联的元数据包含或指示以下至少一个：6dof空间的描述，任选地包含对象坐标；一或多个音频对象的音频对象方向；虚拟现实(vr)环境；和/或与距离衰减、遮挡和/或混响有关的参数。
7、根据示例性方面，该方法可以进一步包含：从一或多个音频源接收音频信号；和/或基于来自一或多个音频源的音频信号和变换函数来生成与3dof音频渲染关联的音频信号数据。
8、根据示例性方面，通过使用变换函数将来自一或多个音频源的音频信号变换为3dof音频信号来生成与3dof音频渲染关联的音频信号数据。
9、根据示例性方面，变换函数将一或多个音频源的音频信号映射或投影到位于围绕默认3dof听者位置的一或多个球体上的相应音频对象上。
10、根据示例性方面，该方法可以进一步包含：基于与距离衰减、遮挡和/或混响有关的环境特性和/或参数来确定变换函数的参数化。
11、根据示例性方面，位流是mpeg-h 3d音频位流或使用mpeg-h 3d音频语法的位流。
12、根据示例性方面，位流的一或多个第一位流部分表示位流的有效载荷，和/或一或多个第二位流部分表示位流的一或多个扩展容器。
13、根据仍有的另一示例性方面，可以提供有一种用于解码和/或音频渲染(具体地说在解码器或音频渲染器处)的方法，该方法包括：接收位流，其在位流的一或多个第一位流部分中包含与3dof音频渲染关联的音频信号数据，并且在位流的一或多个第二位流部分中进一步包含与6dof音频渲染关联的元数据，和/或基于所接收的位流来执行3dof音频渲染和6dof音频渲染中的至少一个。
14、根据示例性方面，在执行3dof音频渲染时，基于在位流的一或多个第一位流部分中的与3dof音频渲染关联的音频信号数据来执行3dof音频渲染，同时丢弃在位流的一或多个第二位流部分中的与6dof音频渲染关联的元数据。
15、根据示例性方面，在执行6dof音频渲染时，基于在位流的一或多个第一位流部分中的与3dof音频渲染关联的音频信号数据和在位流的一或多个第二位流部分中的与6dof音频渲染关联的元数据来执行6dof音频渲染。
16、根据示例性方面，与3dof音频渲染关联的音频信号数据包含一或多个音频对象的音频信号数据。
17、根据示例性方面，一或多个音频对象位于围绕默认3dof听者位置的一或多个球体上。
18、根据示例性方面，与3dof音频渲染关联的音频信号数据包含一或多个音频对象的方向数据和/或一或多个音频对象的距离数据。
19、根据示例性方面，与6dof音频渲染关联的元数据指示一或多个默认3dof听者位置。
20、根据示例性方面，与6dof音频渲染关联的元数据包含或指示以下至少一个：6dof空间的描述，任选地包含对象坐标；一或多个音频对象的音频对象方向；虚拟现实(vr)环境；和/或与距离衰减、遮挡和/或混响有关的参数。
21、根据示例性方面，基于来自一或多个音频源的音频信号和变换函数来生成与3dof音频渲染关联的音频信号数据。
22、根据示例性方面，通过使用变换函数将来自一或多个音频源的音频信号变换为3dof音频信号来生成与3dof音频渲染关联的音频信号数据。
23、根据示例性方面，变换函数将一或多个音频源的音频信号映射或投影到位于围绕默认3dof听者位置的一或多个球体上的相应音频对象上。
24、根据示例性方面，位流是mpeg-h 3d音频位流或使用mpeg-h 3d音频语法的位流。
25、根据示例性方面，位流的一或多个第一位流部分表示位流的有效载荷，和/或一或多个第二位流部分表示位流的一或多个扩展容器。
26、根据示例性方面，基于在位流的一或多个第一位流部分中与3dof音频渲染关联的音频信号数据和在位流的一或多个第二位流部分中与6dof音频渲染关联的元数据来执行6dof音频渲染，其包含基于与3dof音频渲染关联的音频信号数据和逆变换函数来生成与6dof音频渲染关联的音频信号数据。
27、根据示例性方面，通过使用逆变换函数和与6dof音频渲染关联的元数据对与3dof音频渲染关联的音频信号数据进行变换来生成与6dof音频渲染关联的音频信号数据。
28、根据示例性方面，逆变换函数是将一或多个音频源的音频信号映射或投影到位于围绕默认3dof听者位置的一或多个球体上的相应音频对象上的变换函数的逆函数。
29、根据示例性方面，基于与在位流的一或多个第一位流部分中的3dof音频渲染关联的音频信号数据来执行3dof音频渲染与在默认3dof听者位置处，基于在位流的一或多个第一位流部分中的与3dof音频渲染关联的音频信号数据和在位流的一或多个第二位流部分中的与6dof音频渲染关联的元数据来执行6dof音频渲染产生相同的生成的声场。
30、根据仍有的另一示例性方面，可以提供有用于音频渲染的位流，该位流在位流的一或多个第一位流部分中包含与3dof音频渲染关联的音频信号数据，并且在位流的一或多个第二位流部分中进一步包含与6dof音频渲染关联的元数据。此方面可以与上述示例性方面中的任一项或多项组合。
31、根据仍有的另一示例性方面，可以提供有一种包含处理器的设备，具体地说编码器，该处理器被配置成：将与3dof音频渲染关联的音频信号数据编码和/或包含到位流的一或多个第一位流部分中；将与6dof音频渲染关联的元数据编码和/或包含到位流的一或多个第二位流部分中。和/或输出编码的位流。此方面可以与上述示例性方面中的任一项或多项组合。
32、根据仍有的另一示例性方面，可以提供有一种包含处理器的设备，具体地说解码器或音频渲染器，该处理器被配置成：接收位流，其在位流的一或多个第一位流部分中包含与3dof音频渲染关联的音频信号数据，并且在位流的一或多个第二位流部分中进一步包含与6dof音频渲染关联的元数据，和/或基于所接收的位流来执行3dof音频渲染和6dof音频渲染中的至少一个。此方面可以与上述示例性方面中的任一项或多项组合。
33、根据示例性方面，在执行3dof音频渲染时，处理器被配置成基于在位流的一或多个第一位流部分中的与3dof音频渲染关联的音频信号数据来执行3dof音频渲染，同时丢弃在位流的一或多个第二位流部分中的与6dof音频渲染关联的元数据。
34、根据示例性方面，在执行6dof音频渲染时，处理器被配置成基于在位流的一或多个第一位流部分中的与3dof音频渲染关联的音频信号数据和在位流的一或多个第二位流部分中的与6dof音频渲染关联的元数据来执行6dof音频渲染。
35、根据仍有的另一示例性方面，可以提供有一种包含指令的非暂时性计算机程序产品，所述指令在由处理器执行时促使处理器执行用于将音频信号编码到位流中(具体地说在编码器处)的方法，该方法包括：将与3dof音频渲染关联的音频信号数据编码或包含到位流的一或多个第一位流部分中；和/或将与6dof音频渲染关联的元数据编码或包含到位流的一或多个第二位流部分中。此方面可以与上述示例性方面中的任一项或多项组合。
36、根据仍有的另一示例性方面，可以提供有一种包含指令的非暂时性计算机程序产品，所述指令在由处理器执行时促使处理器执行用于解码和/或音频渲染(具体地说在解码器或音频渲染器处)的方法，该方法包括：接收位流，其在位流的一或多个第一位流部分中包含与3dof音频渲染关联的音频信号数据，并且在位流的一或多个第二位流部分中进一步包含与6dof音频渲染关联的元数据，和/或基于所接收的位流来执行3dof音频渲染和6dof音频渲染中的至少一个。此方面可以与上述示例性方面中的任一项或多项组合。
37、本公开的其它方面涉及对应计算机程序和计算机可读存储介质。
38、将领会的是，方法步骤和设备特征可以以多种方式互换。具体地说，如本领域技术人员将领会的，所公开的方法的细节可以被实现为适于执行该方法的一些或全部步骤的设备，且反之亦然。具体地说，理解的是，关于所述方法所作的相应陈述同样地适用于对应设备，且反之亦然。
1.一种用于在编码器处将音频信号编码到位流中的方法，所述方法包括：
