本公开涉及人工智能,尤其涉及一种用户协助方法、装置、设备以及存储介质。
背景技术:
1、现有的客服系统,可以基于ar技术为用户提供协助,例如当产品无法正常工作或者用户需要指导使用产品时,远程客服人员能够利用ar交互对用户进行协助。
2、显而易见的是,目前的客服系统仍然需要有远程客服人员值守。也就是说,远程客服人员尽管无需到用户处现场解决问题,但是在云端通过网络与用户隔空互动依然无法避免。这一方面影响用户的沟通效率(远程客服人员坐席有限),一方面增加人工成本。
技术实现思路
1、本公开的实施例提供了一种用户协助方法、装置、设备以及存储介质。
2、第一方面,本公开的实施例提供了一种用户协助方法,该方法包括:
3、对显示的产品ar模型画面进行检测;
4、若检测到产品ar模型画面中出现用户所添加的ar标记,则根据带有ar标记的帧图像获取满足语言大模型的语言规范要求的用户意图描述文本;
5、将用户意图描述文本输入语言大模型,由语言大模型对用户意图描述文本进行响应,得到用户协助文本;
6、将用户协助文本以语音和/或手语的形式输出。
7、在第一方面的一些可实现方式中,ar标记是通过以下步骤添加的:
8、接收用户在产品ar模型画面中针对ar模型标记选项的选中操作;
9、响应于选中操作,在产品ar模型画面中以用户指定的相对于产品ar模型的位姿添加选中的ar模型标记。
10、在第一方面的一些可实现方式中,ar标记是通过以下步骤添加的:
11、接收用户对产品ar模型画面的手绘操作;
12、响应于手绘操作,在产品ar模型画面中以手绘操作对应的相对于产品ar模型的位姿添加ar手绘标记。
13、在第一方面的一些可实现方式中,根据带有ar标记的帧图像获取满足语言大模型的语言规范要求的用户意图描述文本,包括:
14、将带有ar标记的帧图像输入意图识别模型,由意图识别模型中的编码器对带有ar标记的帧图像进行ar标记识别,提取识别到的ar标记的位姿和属性,以此生成用户意图描述字,并由意图识别模型中的解码器将用户意图描述字转换为满足语言大模型的语言规范要求的用户意图描述文本。
15、在第一方面的一些可实现方式中,将用户协助文本以语音和/或手语的形式输出,包括:
16、获取观看产品ar模型画面的用户的登录id;
17、若根据每个登录id确定每个用户为已注册的非聋哑用户,则将用户协助文本以语音的形式输出;
18、若根据每个登录id确定每个用户为已注册的聋哑用户,则将用户协助文本以手语的形式输出;
19、若根据每个登录id确定每个用户不全为已注册的聋哑用户,则将用户协助文本以语音和手语的形式输出。
20、在第一方面的一些可实现方式中,若根据每个登录id确定每个用户为已注册的非聋哑用户,则将用户协助文本以语音的形式输出,包括:
21、若根据每个登录id确定每个用户为已注册的非聋哑用户,则将用户协助文本输入语音转换模型,由语音转换模型将用户协助文本转换为用户协助语音;
22、播放用户协助语音。
23、在第一方面的一些可实现方式中,若根据每个登录id确定每个用户为已注册的聋哑用户,则将用户协助文本以手语的形式输出,包括:
24、若根据每个登录id确定每个用户为已注册的聋哑用户,则将用户协助文本输入手语生成模型,由手语生成模型中的编码器将用户协助文本转换为ar标记描述字,并由手语生成模型中的解码器将ar标记描述字转换为手语动作描述信息;
25、根据手语动作描述信息驱动虚拟数字人执行对应手语动作并叠加显示在产品ar模型画面。
26、第二方面,本公开的实施例提供了一种用户协助装置,该装置包括:
27、检测模块,用于对显示的产品ar模型画面进行检测;
28、获取模块,用于若检测到产品ar模型画面中出现用户所添加的ar标记,则根据带有ar标记的帧图像获取满足语言大模型的语言规范要求的用户意图描述文本;
29、响应模块,用于将用户意图描述文本输入语言大模型,由语言大模型对用户意图描述文本进行响应,得到用户协助文本;
30、输出模块,用于将用户协助文本以语音和/或手语的形式输出。
31、第三方面,本公开的实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如以上所述的方法。
32、第四方面,本公开的实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如以上所述的方法。
33、在本公开的实施例中,可以根据用户在产品ar模型画面中所添加的ar标记,识别用户意图,得到满足语言大模型的语言规范要求的用户意图描述文本,进而以此与语言大模型进行交流,得到用户协助文本,避免语言表达能力水平参差不齐的用户直接与语言大模型进行交流,并以语音和/或手语的形式输出,从而达到为用户提供协助的目的,可知,整个过程无需远程客服人员参与,自动化程度较高,能够有效提高用户协助效率,降低人工成本。
34、应当理解,
技术实现要素:
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
1.一种用户协助方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述ar标记是通过以下步骤添加的:
3.根据权利要求1所述的方法,其特征在于,所述ar标记是通过以下步骤添加的:
4.根据权利要求1所述的方法,其特征在于,所述根据带有ar标记的帧图像获取满足语言大模型的语言规范要求的用户意图描述文本,包括:
5.根据权利要求1所述的方法,其特征在于,所述将所述用户协助文本以语音和/或手语的形式输出,包括:
6.根据权利要求5所述的方法,其特征在于,所述若根据每个登录id确定每个用户为已注册的非聋哑用户,则将所述用户协助文本以语音的形式输出,包括:
7.根据权利要求5所述的方法,其特征在于,所述若根据每个登录id确定每个用户为已注册的聋哑用户,则将所述用户协助文本以手语的形式输出,包括:
8.一种用户协助装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行权利要求1-7中任一项所述的方法。