本发明涉及音频信号处理领域。具体地，本发明涉及用于改善扬声器的低音区域或低频区域中的音频特性的方法和装置。
背景技术：
1、由于物理限制，小型扬声器的特点是声学响应差，尤其是在低频时。常见的小型扬声器，例如智能手机和笔记本电脑等便携式电子设备中的扬声器，电动扬声器的截止频率约为150hz，压电扬声器的截止频率约为300hz。这会损害低音范围内音频信号的再现，通常认为该范围为20hz至300hz，该范围低于截止频率。
2、基于线性滤波的常见技术(例如均衡)可能会损坏换能器，引入不必要的失真，并最终无法解决问题。
3、这个问题已通过两种主要方法得到解决。一方面，已经开发出新的传感器来克服通常作用于设备设计的这种物理限制。另一方面，已经开发了信号处理算法来增强换能器的声学性能。在后一种方法中，一类数字信号处理算法被称为虚拟低音增强或vbe。
4、vbe的历史可以追溯到90年代，当时首次提出了利用心理声学效应的想法。特别地，现有技术中已知的几种算法基于所谓的基频缺失现象。根据这种效应，由于高次谐波的周期性，人脑可以感知低频的存在，即使低频没有物理再现。也就是说，人脑能够从其高次谐波开始重建缺失的基频。
5、在过去的几十年里，已经提出了不同的vbe算法。它们主要可以分为两类：时域技术和频域技术。
6、时域方法简单、轻量并且在瞬态上表现良好。它们通常依靠分频网络从音轨中提取低端。然后，应用非线性装置(nld)来生成泛音；最后，谐波丰富的音轨被加权并加总回原始信号的高通版本，以输出低音增强的音轨。
7、时域vbe算法例如从以下文章中已知：
8、e.larsen and r.m.aarts,audio bandwidth extension:application ofpsychoacoustics,signal processing and loudspeaker design.john wiley and sons,ltd,2004年；
9、d.ben-tzur,“the effect of the maxxbass 1psychoacoustic bassenhancement system on loudspeaker design,”in proceedings of the 106th audioengineering society convention,1999年5月；
10、n.oo,w.-s.gan,and m.o.j.hawksford,“perceptually-motivated objectivegrading of nonlinear processing in virtual-bass systems,”journal of the audioengineering society,59卷,804–824页,2011年12月，
11、n.oo and w.-s.gan,“harmonic analysis of nonlinear devices for virtualbass system,”in proc.int.conf.audio,language,and image processing,2008年8月,279–284页；
12、r.giampiccolo,a.bernardini,and a.sarti,“a time-domain virtual bassenhancement circuital model for real-time music applications,”ieee 24thinternational workshop on multimedia signal processing(mmsp),中国上海,2022年9月26-28日.
13、相反，频域方法基于相位声码器，并且在音调分量而不是瞬态上表现良好。它们通常应用音调变换来将最初低于换能器截止的频率映射到更高的频谱区域。然后，新引入的谐波按照频率包络或等响度轮廓进行加权。
14、最后，为了融合两种方法的优点，提出了混合技术。这些技术旨在将时域方法应用于瞬态，将频域方法应用于音轨的音调部分。这通常通过在频域中应用这种分离来实现。混合技术的特点通常是计算成本高，这使得它们无法应用于实时场景。
15、频域和混合vbe算法例如从以下文章中已知：
16、m.r.bai and w.-c.lin,“synthesis and implementation of virtual basssystem with a phase-vocoder approach,”journal of the audio engineeringsociety,54卷,1077–1091页,2006年。
17、e.moliner,j.ramo,and v.valimaki,“virtual bass system with fuzzyseparation of tones and transients,”in proceedings of the 23rd internationalconference on digital audio effects(dafx2020),2020年9月。
18、a.j.hill and m.o.j.hawksford,“a hybrid virtual bass system foroptimized steady-state and transient performance,”in proceedings of the 2ndcomputer science and electronic engineering conference(ceec),2010年9月,1–6页。
19、然而，已知的时域技术会受到互调失真(imd)的影响。特别是，向非线性函数(如nld)提供原始音轨的低通版本，例如乐器的和弦混合，会同时产生多个频率分量的泛音，不可避免地导致产生令人不快的不和谐失真。
20、另一方面，频域技术受到逐帧处理引起的拖尾效应的影响，这反过来又会降低时间分辨率，从而对瞬态和起始点的感知产生负面影响。此外，虽然其特点是可以更好地控制谐波产生，但它们通常对计算要求很高。
21、因此，需要改进的虚拟低音增强算法，其能够在收听者中产生低于扬声器物理能力的低频声音的感知，而不在信号中引入失真并且具有可管理的计算复杂性。
技术实现思路
1、一般而言，本发明基于这样的考虑：可以通过将本领域已知的虚拟低音增强技术应用到输入音频信号的选定部分而不是应用到完整的音频信号来改进本领域已知的虚拟低音增强技术。甚至更具体地，本发明基于如何从输入音频信号中提取那些选定部分。
2、具体地，与现有技术中已知的作用于输入音频信号的部分(例如由交叉网络产生的低通信号)的方法相反，本发明将vbe应用于隔离的音乐词干。换句话说，本发明涉及将vbe应用于共享公共发声机制的隔离声源或其组，例如多个声线、打击乐器、弦乐合奏等。换句话说，本发明的特征在于独立于其他分量来选择哪个分量经受vbe。正如从下面的描述中将变得更加清楚的，这可以通过使用音乐解混模型来提取这样的分量来有利地获得。以这种方式，可以避免互调失真。
3、此外，可以在信号处理流水线中添加不同的前处理和后处理阶段，这可以额外提高低音增强。
4、因此，实施例可以涉及一种用于增强输入音频信号的虚拟低音的虚拟低音增强装置，所述虚拟低音增强装置包括：解混器，所述解混器被配置为从所述输入音频信号提取至少一个音频通道，其中所述音频通道对应于所述输入音频信号的一个声源或一组声源；至少一个虚拟低音增强单元，所述虚拟低音增强单元被配置为生成用于增强所述音频通道的低音感知的泛音；以及至少一个加法器，所述加法器被配置为将所述泛音添加到所述输入音频信号以产生增强音频信号。
5、在一些实施例中，解混器可以包括至少一个神经网络，所述至少一个神经网络被训练为从输入信号提取至少一个音频通道。
6、在一些实施例中，解混器可以包括多个神经网络，所述多个神经网络被训练为从输入信号重提取相应的多个音频通道。
7、在一些实施例中，虚拟低音增强装置还可以包括至少一个滤波器，所述滤波器被配置为对至少一个音频通道进行滤波并输出至少一个经滤波的音频通道，其中所述至少一个虚拟低音增强单元可以被配置为生成用于增强经滤波的音频通道的低音感知的泛音。
8、在一些实施例中，虚拟低音增强单元可以是时域虚拟低音增强单元。
9、在一些实施例中，至少一个滤波器可以是线性相位数字滤波器或零相位数字滤波器。
10、在一些实施例中，虚拟低音增强装置还可包括至少一个减法器，其被配置为从输入音频信号减去至少一个经滤波的音频通道。
11、在一些实施例中，至少一个虚拟低音增强单元可以包括归一化单元、非线性装置和增益单元。
12、在一些实施例中，至少一个虚拟低音增强单元可以被配置为实现至少一个函数f(x)，所述函数具有连续的一阶导数和二阶导数，具有在区间(0，1]内小于1的值。
13、在一些实施例中，至少一个虚拟低音增强单元可以被配置为实现至少一个函数f(x)＝tanh(kx)，其中k是预定值，优选地等于和/或大于1。
14、在一些实施例中，至少一个虚拟低音增强单元可以被配置为实现至少函数f(x)，
15、
16、其中
17、“k”是等于2.25的常数值；
18、“tanh”是双曲正切函数；
19、以及“atsr”是反正切平方根函数。
20、在一些实施例中，虚拟低音增强装置还可以包括高通滤波器、峰值归一器和响度归一器，所述高通滤波器接收增强音频信号作为输入并输出滤波的增强音频信号，所述峰值归一器和响度归一器对所述滤波的增强音频信号进行操作。
21、在一些实施例中，虚拟低音增强装置可以被配置为与具有截止频率的换能器一起使用，并且高通滤波器可以具有与换能器截止频率相对应的截止频率。
22、在一些实施例中，声源包括鼓、声乐或乐器中的任一种。
1.一种虚拟低音增强装置(1000、2000、3000、5000)，用于增强输入音频信号(in)的虚拟低音，所述虚拟低音增强装置(1000、2000、3000)包括：
2.根据权利要求1所述的虚拟低音增强装置(1000、2000、3000、5000)，
3.根据权利要求1或2所述的虚拟低音增强装置(1000、2000、3000、5000)，
4.根据任一前述权利要求所述的虚拟低音增强装置(2000、3000、5000)，还包括：
5.根据任一前述权利要求所述的虚拟低音增强装置(2000、3000、5000)，
6.根据权利要求4或5所述的虚拟低音增强装置(2000、3000、5000)，
7.根据权利要求3至6中任一项所述的虚拟低音增强装置(3000、5000)，还包括：
8.根据任一前述权利要求所述的虚拟低音增强装置(1000、2000、3000、5000)，其中至少一个虚拟低音增强单元(4210)包括归一化单元(4211)、非线性装置(4212)和增益单元(4213)。
9.根据任一前述权利要求所述的虚拟低音增强装置(1000、2000、3000、5000)，其中
10.根据权利要求9所述的虚拟低音增强装置(1000、2000、3000、5000)，其中
11.根据权利要求9所述的虚拟低音增强装置(1000、2000、3000、5000)，其中
12.根据任一前述权利要求所述的虚拟低音增强装置(5000)，还包括：
13.根据权利要求11所述的虚拟低音增强装置(5000)，其中
14.根据任一前述权利要求所述的虚拟低音增强装置(1000、2000、3000、5000)，
15.一种虚拟低音增强装置(1000、2000、3000、5000)，用于增强输入音频信号(in)的虚拟低音，所述虚拟低音增强装置(1000、2000、3000)包括处理器和存储器，
