包含模糊指代词的语音交互方法、相关装置及通信系统与流程

    技术2026-07-07  15


    本技术涉及语音交互、无线通信、机器视觉、车辆、智能家居等领域,尤其涉及包含模糊指代词的语音交互方法、相关装置及通信系统。


    背景技术:

    1、语音交互已经成为智能设备的标准配置,在智能座舱、智能家居等领域发挥重要作用。语音交互功能可以支持智能设备记录用户的语音请求,用自然语言理解处理请求,并提供响应,提升了用户体验。

    2、语音交互主要利用语音中有明确指代对象的关键词实现。比如“打开地图应用”“打开相机应用”“导航到华为大厦”,这里面的地图应用、相机应用、华为大厦等都属于明确的指代词,智能设备能够识别并响应,而对于如“这个”“那个”等模糊指代词无法识别。例如用户输入语音指令“这栋高楼是什么名字?”“关闭这个音箱”,智能设备由于无法识别模糊词而无法正确回应。


    技术实现思路

    1、本技术提供了包含模糊指代词的语音交互方法、相关装置及通信系统,

    2、第一方面,提供了一种包含模糊指代词的语音交互方法,应用于车辆。该方法可包括:采集语音指令,语音指令包含模糊指代词;确定输入语音指令的用户的关注方向;确定一个或多个兴趣点poi,一个或多个poi位于用户的关注方向上,一个或多个poi包括第一poi;基于第一poi响应语音指令。

    3、实施第一方面的方法,在用户输入有模糊指代词的语音指令时,车辆能够分析该模糊指代词所指代的具体对象(包括人、物等),并响应该语音指令为用户提供服务。这样车辆可以完成包含模糊指代词的准确语音交互,能够提升用户的语音交互体验,还能够使得语音交互方案更加简单、自然。

    4、结合第一方面,在一些实施方式中,车辆可以基于无线信号确定手势方向。具体的,确定输入语音指令的用户的关注方向,具体包括:提取在采集到语音指令之前的时间,接收到的无线信号;根据接收到的无线信号,确定输入语音指令的用户的手势方向。

    5、结合上一实施方式,根据接收到的无线信号,确定输入语音指令的用户的手势方向,具体包括:获取输入语音指令的用户在车辆中的位置;计算用户和车辆中第一雷达之间的第一距离;根据第一距离,计算接收到的多帧无线信中,每一帧无线信号的有效目标子集;根据多帧无线信号的有效目标子集,拟合得到输入语音指令的用户的手势方向。

    6、结合第一方面,在一些实施方式中,车辆可以基于摄像头采集的图像来确定手势方向。具体的,确定输入语音指令的用户的关注方向,具体包括:提取在采集到语音指令时,通过摄像头采集到的图像;根据摄像头采集到的图像,确定输入语音指令的用户的手势方向。

    7、结合上一实施方式,根据摄像头采集到的图像,确定输入语音指令的用户的关注方向,具体可包括以下几种方式:

    8、方式1.识别在采集到语音指令时,第一摄像头采集的第一图像中用户手臂的长度和参考物的长度,第一摄像头的成像平面和参考物所在平面平行;根据投影关系,第一图像中用户手臂的长度和参考物的长度,以及,参考物的实际长度,确定用户手臂在平面的投影长度;根据用户手臂在平面的投影长度,和,用户手臂的实际长度,确定用户的手势方向。

    9、方式2.识别在采集到语音指令时,第一摄像头采集的第一图像中用户手臂的长度和参考物的长度,第一摄像头的成像平面和参考物所在平面不平行;将第一摄像头映射到和参考物所在平面平行的位置,得到第一图像映射得到的第二图像;根据投影关系,第二图像中用户手臂的长度和参考物的长度,以及,参考物的实际长度,确定用户手臂在参考物所在平面的投影长度;根据用户手臂在参考物所在平面的投影长度,和,用户手臂的实际长度,确定用户的手势方向。

    10、方式3.根据第二摄像头和第三摄像头的位置关系,以及在采集到语音指令时第二摄像头和第三摄像头各自采集的图像,获取用户手势的三维信息;根据用户手势的三维信息,确定用户的手势方向。

    11、结合第一方面,在一些实施方式中,采集语音指令之前,该方法还包括:显示虚拟现实ar地图;输出多个poi的信息,具体包括:在ar地图中显示多个poi的信息。通过ar地图,能够以三维方式显示车辆周围各poi的信息,能够让用户获知更多信息,从而和车辆或ar头盔更加精准地进行语音交互,并能过获得沉浸式体验。并且,用户仅需和ar地图交互,无需用户关注物理空间中的实际目标,也可完整准确交互。

    12、结合第一方面,在一些实施方式中,语音指令还包含以下任一项或多项信息:方位、形容词;确定的一个或多个poi符合语音指令包含的一项或多项信息。

    13、结合第一方面,在一些实施方式中,在确定一个或多个兴趣点poi之前,该方法还包括:输出提示信息,提示信息用于提示用户输出以下任一项或多项信息:方位、形容词;确定的一个或多个poi符合用户输出的一项或多项信息。这样能够更好地为用户筛选出符合其需求的poi,从而为用户提供合适的语音服务。

    14、结合第一方面,在一些实施方式中,该方法还包括:获取当前所处位置的地图数据;确定的一个或多个poi是地图数据中的poi。

    15、结合第一方面,在一些实施方式中,获取当前所处位置的地图数据,具体包括:从网络中获取当前所处位置的地图数据;或者,通过摄像头采集当前所处位置的图像,根据图像获取当前所处位置的地图数据。

    16、结合第一方面,在一些实施方式中,基于第一poi响应语音指令之前,该方法还包括:确定的poi包括多个时,输出多个poi的信息;接收到从多个poi中选择第一poi的用户操作;或者,确定的poi包括一个时,第一poi为确定的一个poi。

    17、第二方面,提供一种包含模糊指代词的语音交互方法,应用于通信系统,通信系统包括:中控设备、第一设备,第二设备。该方法可包括:第一设备采集语音指令并将语音指令发送给中控设备,语音指令包含模糊指代词;中控设备确定输入语音指令的用户的关注方向,确定一个或多个兴趣点poi,一个或多个poi位于用户的关注方向上;如果确定的poi包括多个,中控设备控制第二设备输出多个poi的信息;第二设备接收到从多个poi中选择第一poi的用户操作,并将用户操作的信息发送给中控设备;中控设备基于第一poi响应语音指令。

    18、实施第二方面提供的方法,本技术提供的包含模糊指代词的语音交互方法应用于全屋智能通信系统时,用户可以与全屋空间交互,乘客无须知道目标的具体名词,而全屋智能系统基于手势方向等,就能够响应屋内用户的语音指令如“打开这个音箱”等。

    19、结合第二方面,在一些实施方式中,通信系统还包括第三设备,中控设备基于第一poi响应语音指令,具体包括:中控设备控制第三设备响应语音指令,第一poi对应第三设备。

    20、结合第二方面,在一些实施方式中,中控设备可以基于无线信号确定手势方向。具体的,中控设备确定输入语音指令的用户的关注方向,具体包括:提取在采集到语音指令之前的时间,第四设备接收到的无线信号;根据接收到的无线信号,确定输入语音指令的用户的手势方向。

    21、结合上一实施方式,根据接收到的无线信号,确定输入语音指令的用户的手势方向,具体包括:获取输入语音指令的用户在车辆中的位置;计算用户和车辆中第一雷达之间的第一距离;根据第一距离,计算接收到的多帧无线信中,每一帧无线信号的有效目标子集;根据多帧无线信号的有效目标子集,拟合得到输入语音指令的用户的手势方向。

    22、结合第二方面,在一些实施方式中,中控设备可以基于摄像头采集的图像来确定手势方向。具体的,中控设备确定输入语音指令的用户的关注方向,具体包括:提取在采集到语音指令时,第五设备的摄像头采集到的图像;根据摄像头采集到的图像,确定输入语音指令的用户的手势方向。

    23、结合上一实施方式,根据摄像头采集到的图像,确定输入语音指令的用户的关注方向,具体可包括以下几种方式:

    24、方式1.识别在采集到语音指令时,第一摄像头采集的第一图像中用户手臂的长度和参考物的长度,第一摄像头的成像平面和参考物所在平面平行;根据投影关系,第一图像中用户手臂的长度和参考物的长度,以及,参考物的实际长度,确定用户手臂在平面的投影长度;根据用户手臂在平面的投影长度,和,用户手臂的实际长度,确定用户的手势方向。

    25、方式2.识别在采集到语音指令时,第一摄像头采集的第一图像中用户手臂的长度和参考物的长度,第一摄像头的成像平面和参考物所在平面不平行;将第一摄像头映射到和参考物所在平面平行的位置,得到第一图像映射得到的第二图像;根据投影关系,第二图像中用户手臂的长度和参考物的长度,以及,参考物的实际长度,确定用户手臂在参考物所在平面的投影长度;根据用户手臂在参考物所在平面的投影长度,和,用户手臂的实际长度,确定用户的手势方向。

    26、方式3.根据第二摄像头和第三摄像头的位置关系,以及在采集到语音指令时第二摄像头和第三摄像头各自采集的图像,获取用户手势的三维信息;根据用户手势的三维信息,确定用户的手势方向。

    27、结合第二方面,在一些实施方式中,语音指令还包含以下任一项或多项信息:方位、形容词;确定的一个或多个poi符合语音指令包含的一项或多项信息。

    28、结合第二方面,在一些实施方式中,在中控设备确定一个或多个兴趣点poi之前,该方法还包括:中控设备控制第六设备输出提示信息,提示信息用于提示用户输出以下任一项或多项信息:方位、形容词;确定的一个或多个poi符合用户输出的一项或多项信息。

    29、结合第二方面,在一些实施方式中,中控设备接收到通信系统中一个或多个设备采集的地图数据;根据地图数据,构建通信系统所在空间的位置数据库。

    30、结合第二方面,在一些实施方式中,如果确定的poi包括一个,则中控设备基于确定的poi响应语音指令。

    31、上述提及的中控设备、第一设备、第二设备、第三设备、第四设备、第五设备、第六设备中的任意两个设备,可以是不同的设备,也可以是相同的设备,这里不做限定。

    32、第三方面,提供一种车辆,包括:存储器、一个或多个处理器;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得车辆执行如第一方面或第一方面的任意一种实施方式提供的方法。

    33、第四方面,提供一种中控设备,包括存储器、一个或多个处理器;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得中控设备执行如第二方面或第二方面的任意一种实施方式中中控设备提供的方法。

    34、第五方面,本技术实施例提供了一种计算机可读存储介质,包括指令,当指令在电子设备上运行时,使得电子设备执行如第一方面或第一方面的任意一种实施方式中车辆所执行的方法,或者,执行如第二方面或第二方面的任意一种实施方式中中控设备提供的方法。

    35、第六方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面或第一方面的任意一种实施方式中车辆所执行的方法,或者,执行如第二方面或第二方面的任意一种实施方式中中控设备提供的方法。

    36、第七方面,本技术实施例提供了一种芯片系统,所述芯片系统包括至少一个处理器,用于实现如第一方面或第一方面的任意一种实施方式中车辆所执行的方法,或者,执行如第二方面或第二方面的任意一种实施方式中中控设备提供的方法。

    37、第八方面,提供一种通信系统,包括中控设备、第一设备、第二设备,该通信系统用于执行如第二方面所述的方法。


    技术特征:

    1.一种包含模糊指代词的语音交互方法,其特征在于,所述方法应用于车辆,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,确定输入所述语音指令的用户的关注方向,具体包括:

    3.根据权利要求2所述的方法,其特征在于,根据接收到的无线信号,确定输入所述语音指令的用户的手势方向,具体包括:

    4.根据权利要求1所述的方法,其特征在于,确定输入所述语音指令的用户的关注方向,具体包括:

    5.根据权利要求4所述的方法,其特征在于,根据所述摄像头采集到的图像,确定输入所述语音指令的用户的关注方向,具体包括:

    6.根据权利要求4所述的方法,其特征在于,根据所述摄像头采集到的图像,确定输入所述语音指令的用户的关注方向,具体包括:

    7.根据权利要求4所述的方法,其特征在于,根据所述摄像头采集到的图像,确定输入所述语音指令的用户的关注方向,具体包括:

    8.根据权利要求1-7任一项所述的方法,其特征在于,

    9.根据权利要求1-8任一项所述的方法,其特征在于,

    10.根据权利要求1-8任一项所述的方法,其特征在于,在确定一个或多个兴趣点poi之前,所述方法还包括:

    11.根据权利要求1-10任一项所述的方法,其特征在于,所述方法还包括:

    12.根据权利要求11所述的方法,其特征在于,所述获取当前所处位置的地图数据,具体包括:

    13.根据权利要求1-11任一项所述的方法,其特征在于,

    14.一种包含模糊指代词的语音交互方法,其特征在于,所述方法应用于通信系统,所述通信系统包括:中控设备、第一设备,第二设备,所述方法包括:

    15.根据权利要求14所述的方法,其特征在于,所述通信系统还包括第三设备,所述中控设备基于所述第一poi响应所述语音指令,具体包括:

    16.根据权利要求14或15所述的方法,其特征在于,所述中控设备确定输入所述语音指令的用户的关注方向,具体包括:

    17.根据权利要求16所述的方法,其特征在于,根据接收到的无线信号,确定输入所述语音指令的用户的手势方向,具体包括:

    18.根据权利要求14或15所述的方法,其特征在于,所述中控设备确定输入所述语音指令的用户的关注方向,具体包括:

    19.根据权利要求18所述的方法,其特征在于,根据所述摄像头采集到的图像,确定输入所述语音指令的用户的关注方向,具体包括:

    20.根据权利要求18所述的方法,其特征在于,根据所述摄像头采集到的图像,确定输入所述语音指令的用户的关注方向,具体包括:

    21.根据权利要求18所述的方法,其特征在于,根据所述摄像头采集到的图像,确定输入所述语音指令的用户的关注方向,具体包括:

    22.根据权利要求14-21任一项所述的方法,其特征在于,

    23.根据权利要求14-21任一项所述的方法,其特征在于,在所述中控设备确定一个或多个兴趣点poi之前,所述方法还包括:

    24.根据权利要求14-23任一项所述的方法,其特征在于,所述方法还包括:

    25.根据权利要求14-24任一项所述的方法,其特征在于,所述方法还包括:

    26.一种车辆,其特征在于,包括:存储器、一个或多个处理器;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述车辆执行如权利要求1-13中任一项所述的方法。

    27.一种通信系统,其特征在于,所述通信系统包括中控设备、第一设备、第二设备,所述通信系统用于执行如权利要求14-25任一项所述的方法。

    28.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行,使得所述电子设备执行如权利要求1-13中任一项所述的方法。


    技术总结
    本申请公开了包含模糊指代词的语音交互方法、相关装置及通信系统。在用户输入有模糊指代词的语音指令时,电子设备能够分析该模糊指代词所指代的具体对象,并响应该语音指令为用户提供服务。这样可以完成包含模糊指代词的准确语音交互,能够提升用户的语音交互体验,还能够使得语音交互方案更加简单、自然。

    技术研发人员:邢海峰,丁根明,饶刚
    受保护的技术使用者:华为技术有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-44859.html

    最新回复(0)