本发明涉及一种用于对可听化进行相等性评估的方法。本发明还涉及一种用于该目的的计算机程序、装置以及存储介质。
背景技术：
1、从us2020/0411030 a1已知一种用于执行回声补偿的方法，在该方法中，接收远端的信号，并且在近端装置上记录麦克风信号。提供循环神经网络，该循环神经网络被配置为使得该循环神经网络基于远端的特征来计算所估计的回声特征。
2、此外，已知语音质量感知评估(perceptual evaluation of speech quality，pesq)，作为用于评估如电话、手机、互联网语音协议(voice overinternetprotocol，voip)系统等通信系统的语音质量的方法。它是一种客观测量方法，该客观测量方法使用一种算法来将所传输的语音信号与所接收到的语音信号进行比较并且生成表示所接收到的语音信号的感知质量的值。
技术实现思路
1、本发明的主题是一种具有权利要求1的特征的方法、一种具有权利要求8的特征的计算机程序、一种具有权利要求9的特征的装置以及一种具有权利要求10的特征的计算机可读存储介质。本发明的其它特征和细节从相应的从属权利要求、说明书和附图中得出。在此，与按照本发明的方法相关联地描述的特征和细节当然也与按照本发明的计算机程序、按照本发明的装置以及按照本发明的计算机可读存储介质相关联地适用，而且分别反之亦然，使得关于各个发明方面的公开内容始终相互参考或可以相互参考。
2、本发明的主题尤其是一种用于对可听化进行相等性评估的方法，该方法包括以下步骤，这些步骤优选地被依次和/或重复执行：
3、-优选地借助于可听化，提供合成信号，以便描绘、优选地模拟装置的真实声音信号，其中，该合成信号优选地以数字数据的形式来被提供；
4、-提供参考信号，该参考信号从装置或该装置的真实声音信号或该真实声音信号的参考测量中产生，其中，该参考信号优选地以数字数据的形式来被提供；
5、-评估所提供的合成信号与所提供的参考信号之间的相等性，以便获得关于可听化的相等性结果，其中，优选地，基于根据人类感知的用于该相等性的评估模型来进行该评估，其中，优选地，该相等性结果量化该可听化的质量；
6、-优选地通过该相等性结果的数字输出，提供该相等性结果。
7、在此，可以规定：针对所提供的合成信号的至少两个变型来执行该相等性的评估，以便单独地评估该合成信号的至少一个频率部分。换言之，对所提供的合成信号与所提供的参考信号之间的相等性的评估可以至少部分地尤其是通过如下方式来实现：评估所提供的合成信号的至少两个变型、即变型后的合成信号与所提供的参考信号之间的相等性。以这种方式，按照本发明的方法提供了对合成声音信号的传统评估方法的改进，并且在此尤其也可以有能力对可听化质量进行量化。例如，机器学习模型(在下文也简称为ml模型)在此可以用作评估模型，而且依据训练数据和借助于陪审团测试对这些训练数据的评估来学习将声音信号彼此进行比较并且根据它们的相等性来评估这些声音信号的能力。该相等性可以是指两个或更多个信号相同或相似、例如关于在频谱中的幅度和相位和/或在时域中的幅度方面相同或相似的程度。
8、有利地，也可以通过该相等性结果来对可听化质量进行量化。尤其是，通过改相等性结果，为合成声音信号的可听化提供了确定性质量标准。该质量标准可以依据奇异值(einzahlwerten)来提供客观验证，这些奇异值可以通过主观地根据人类感知训练的ml模型来被计算。
9、可听化质量可以是指通过可听化所产生的声音的精度和真实感。在此，可听化可以是指声音信号(如声源)及其在空间或环境中的传播的计算机辅助合成、尤其是模拟。可听化可以被用于模拟：声音如何在空间或环境中传播、该声音如何被不同材料反射或吸收以及该声音可以如何从空间或环境中的不同位置被听到。在此，本发明尤其描述了用于合成声音信号的可听化的确定性质量标准。在此，通过可听化，例如可以提供合成信号。
10、本发明可以具有的优点是：通过该评估来回答质量问题，如：在傅里叶变换(fft)频谱的客观验证中需要怎样的精度，以便实现在合成与参考测量之间等效的听觉印象？该合成的所选择的频率部分对可听化有怎样的影响，并且借此对于实现在合成与参考测量之间等效的听觉印象有重大贡献？
11、参考信号例如可以通过如下方式从真实声音信号的参考测量中产生：尤其是在真实装置的操作期间，已在该装置上执行了测量，以用于准备该评估。该装置例如是热泵，该热泵在操作时发出可能被主观感知为干扰的声音。该可听化以及尤其是该评估可以用于优化该装置的声音发射。
12、本发明还可以为合成声音信号的可听化提供客观的确定性质量标准。使用主观地根据人类感知训练的ml模型以及客观的奇异输出值还可以实现：传统的验证概念可以被组合和改进，使得能够实现对合成声音信号的可听化的量化。利用本发明，可以得出合成与参考测量之间的等效的听觉印象所需的精度。此外，该质量标准可以自动化，以便简化评估。
13、可以有利的是：在本发明的范围内，这些变型包括所提供的合成信号的在频域或时域内的至少一个参数、尤其是声压和/或其相位的变型，使得该参数针对所提供的合成信号的频率范围的至少一部分与参考信号相适应。该适应例如可以包括对该参考信号的相对应的参数的近似。这些变型例如可以包括合成信号的经过声压和/或相位变型的合成。利用经过声压和/或相位变型的合成，可以评估所选择的频率范围对可听化的影响。在此，变型后的合成的生成、即变形后的合成信号的生成可以自动化，并且可以任意地划分频率范围(例如倍频带或第三倍频带)。评估模型以及优选地ml模型的输出可以包括一个奇异值或者多个奇异值，并且可以是相等性评估的客观指标，该指标基于多种主观评估。例如，可以使用待检查系统的声压测量数据，作为ml模型的训练数据，对于这些声压测量数据来说存在通过听力测试所进行的评估。
14、例如，可以针对每个所提供的合成信号执行至少三次或至少四次或至少六次或至少十次变型，以便单独地评估该合成信号的(至少两个或至少三个或至少五个或至少九个)不同的频率部分。在此，可以获得相应数量的变型后的合成信号，在这些合成信号中，根据不同的频率部分来进行该适应。
15、此外，可选地规定：在这些变型中的第一变型中，将所提供的合成信号针对整个频率范围与参考信号相适应，以便获得比较评估。还可以是可能的是：在这些变型中的至少一个第二和/或其它变型中，所提供的合成信号针对整个频率范围分别除了该整个频率范围的一部分以外以相同的方式与参考信号相适应，以便将相应的(被排除或未经适应的)部分作为所提供的合成信号的频率部分来单独地评估。这基于以下考虑：经过适应的频率范围借此被屏蔽，因为这些频率范围在声音方面与参考信号基本上一致。因此，对可听化质量的评估可以集中于在该适应中被排除的部分。
16、还可设想的是：基于这些变型，至少获得变型后的第一合成信号和变型后的第二合成信号，并且优选地还获得变型后的其它合成信号，其中，至少变型后的第一和第二合成信号以及尤其是一个或多个其它合成信号以及至少该参考信号可以被用作针对评估模型的输入，优选地在时域内。借此，各个变型后的合成信号可以关于其与参考信号的相等性来被评估，必要时也可以按顺序地被评估，而且借此也可以确定各个所要评估的频率部分对可听化质量的影响。
17、在本发明的范围内，还可设想的是：为了评估所提供的合成信号与所提供的参考信号之间的相等性，针对要单独评估的频率部分分别执行以下步骤：
18、-限于相应的频率部分地执行对所提供的参考信号与所提供的合成信号之间的相等性的部分评估，以便获得相应的部分相等性结果，
19、其中，可以将这些部分相等性结果彼此进行比较，以便获得相等性结果。借此，也可以间接地评估相等性。原则上，可以使用间接和/或直接的相等性表述。在间接的相等性表述的情况下，评估模型以及优选地ml模型的奇异输出值可以描述合成和参考测量被感知和评估的程度，但是尤其是没有关于声音信号的相等性的信息内容。尤其是当参考测量与所有要评估的离散频率的(尤其是经过声压)变型后的合成之间的奇异输出值相同时，存在合成与参考测量之间的相等性。在直接的ml相等性表述的情况下，模型的奇异输出值可以直接描述：合成与参考测量的配对比较之间是否存在相等性。
20、还有利的是：在本发明的范围内，评估模型，优选地以机器学习模型的形式，被实施并且尤其是被训练来自动化地评估将会如何根据人类感知来评估该相等性，其中，优选地，该机器学习模型为此已使用训练数据来被训练，这些训练数据包括该装置的(尤其是声压)测量数据和/或相关的评估结果，这些评估结果可以从人类听力测试中产生。因此，该评估可以基于多种主观评估来进行。经过训练的ml模型例如可以利用基于信号的配对比较的回归问题来被表述，以用于评估所有考虑的对的预测差异。此外，该ml模型可以是能表述的，使得该ml模型可以评估所选择的质量参量。本发明的思路尤其基于：使用主观地根据人类感知训练的ml模型，以便评估可听化合成与参考测量之间的相等性。在此，该ml模型可以被表述为使得该相等性间接和直接地被评估。在此，该模型的输入数据可以是合成信号的所选择的频率范围的参考测量、合成以及经过声压变型的合成。
21、在本发明的范围内，还可以规定：通过该评估模型，基于主观评估方案来执行该评估，该主观评估方案包括关于声音质量对声音信号和合成信号的人类分类。换言之，该评估可以不根据客观标准来被执行，而是根据主观标准来被执行，例如通过使用机器学习。然而，不同于执行实际的陪审团测试，可以提供自动化的评估。
22、本发明的主题还是一种计算机程序、尤其是计算机程序产品，该计算机程序包括指令，在通过计算机来执行该计算机程序时，这些指令促使该计算机执行按照本发明的方法。借此，按照本发明的计算机程序所带来的优点与已经关于按照本发明的方法所详细描述的优点相同。
23、本发明的主题还是一种数据处理装置，该数据处理装置被设立为执行按照本发明的方法。例如，可以提供计算机作为该装置，该计算机执行按照本发明的计算机程序。该计算机可具有至少一个处理器，用于执行该计算机程序。还可以提供非易失性数据存储器，在该非易失性数据存储器中可以寄存该计算机程序，而且通过该处理器可以从该非易失性数据存储器中读取该计算机程序以用于执行。
24、本发明的主题还可以是一种计算机可读存储介质，该计算机可读存储介质具有按照本发明的计算机程序和/或包括指令，这些指令在通过计算机来执行时促使该计算机执行按照本发明的方法。该存储介质例如被设计成数据存储器，如硬盘和/或非易失性存储器和/或存储卡。该存储介质例如可以集成到该计算机中。
25、此外，按照本发明的方法还可以被实施为计算机实现的方法。
1.一种用于对可听化进行相等性评估的方法(100)，所述方法包括以下步骤：
2.根据权利要求1所述的方法(100)，
3.根据上述权利要求中任一项所述的方法(100)，
4.根据上述权利要求中任一项所述的方法(100)，
5.根据上述权利要求中任一项所述的方法(100)，
6.根据上述权利要求中任一项所述的方法(100)，
7.根据上述权利要求中任一项所述的方法(100)，
8.一种计算机程序(20)，所述计算机程序包括指令，在通过计算机(10)来执行所述计算机程序(20)时，所述指令促使所述计算机来执行根据上述权利要求中任一项所述的方法(100)。
9.一种数据处理装置(10)，所述数据处理装置被设立为执行根据权利要求1至7中任一项所述的方法(100)。
10.一种计算机可读存储介质(15)，所述计算机可读存储介质包括指令，所述指令在通过计算机(10)来执行时促使所述计算机执行根据权利要求1至7中任一项所述的方法(100)的步骤。
