本申请涉及人机交互领域，且更为具体地，涉及一种基于虚拟数字人的人机交互方法及装置、设备、存储介质。
背景技术：
1、虚拟数字人是一种先进的人机交互技术，它利用人工智能和计算机图形学的技术，将虚拟人物以逼真的形象呈现在屏幕上。通过手势交互，用户可以与虚拟数字人进行直接的沟通和互动。用户可以通过手势来控制虚拟数字人的动作和行为，例如挥手、抬手、点头等。虚拟数字人能够识别和理解用户的手势，从而实现更加自然和直观的交互体验。这种人机交互方式不仅提供了更加智能化和便捷的操作方式，还能够增强用户与虚拟数字人之间的情感连接，使交互更加生动和有趣。通过手势交互，虚拟数字人可以成为用户的个人助手、导游、教师等多种角色，为用户提供个性化的服务和支持。
2、虚拟数字人需要准确地识别和解释用户的手势动作，以正确地响应用户的指令。然而，由于手势的多样性和个体差异，虚拟数字人可能会出现误判或误识别用户的手势，导致交互体验的不流畅或错误的操作结果。
3、因此，期望一种基于虚拟数字人的人机交互方法及装置、设备、存储介质。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于虚拟数字人的人机交互方法及装置、设备、存储介质，其首先获取由摄像头采集的用户人机交互手势视频以及由穿戴设备采集的用户多个预定时间点的手势动作加速度值和角度值，然后利用深度学习技术，对二者进行特征提取和关联分析，最后通过分类器以得到分类结果，以生成用户肢体指令标签，以更准确地理解用户的手势意图，进而执行相应的操作或提供反馈，从而提高用户体验，使用户能够更自然、直观地与虚拟数字人进行交互。
2、根据本申请的一个方面，提供了一种基于虚拟数字人的人机交互方法，其包括：
3、获取由摄像头采集的用户人机交互手势视频以及由穿戴设备采集的用户多个预定时间点的手势动作加速度值和角度值；
4、从所述由摄像头采集的用户人机交互手势视频以及所述由穿戴设备采集的用户多个预定时间点的手势动作加速度值和角度值中提取手势关联特征向量和手势动作全局关联特征向量；
5、基于所述手势关联特征向量和所述手势动作全局关联特征向量，生成用户肢体指令标签。
6、根据本申请的另一方面，提供了一种基于虚拟数字人的人机交互装置，其包括：
7、人机交互数据获取模块，用于获取由摄像头采集的用户人机交互手势视频以及由穿戴设备采集的用户多个预定时间点的手势动作加速度值和角度值；
8、人机交互数据特征提取模块，用于从所述由摄像头采集的用户人机交互手势视频以及所述由穿戴设备采集的用户多个预定时间点的手势动作加速度值和角度值中提取手势关联特征向量和手势动作全局关联特征向量；
9、指令标签判断生成模块，用于基于所述手势关联特征向量和所述手势动作全局关联特征向量，生成用户肢体指令标签。
10、根据本申请的再一方面，提供了一种设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于虚拟数字人的人机交互方法。
11、根据本申请的又一方面，提供了一种存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于虚拟数字人的人机交互方法。
12、与现有技术相比，本申请提供的一种基于虚拟数字人的人机交互方法及装置、设备、存储介质，其首先获取由摄像头采集的用户人机交互手势视频以及由穿戴设备采集的用户多个预定时间点的手势动作加速度值和角度值，然后利用深度学习技术，对二者进行特征提取和关联分析，最后通过分类器以得到分类结果，以生成用户肢体指令标签，以更准确地理解用户的手势意图，进而执行相应的操作或提供反馈，从而提高用户体验，使用户能够更自然、直观地与虚拟数字人进行交互。
1.一种基于虚拟数字人的人机交互方法，其特征在于，包括：
2.根据权利要求1所述的基于虚拟数字人的人机交互方法，其特征在于，从所述由摄像头采集的用户人机交互手势视频以及所述由穿戴设备采集的用户多个预定时间点的手势动作加速度值和角度值中提取手势关联特征向量和手势动作全局关联特征向量，包括：
3.根据权利要求2所述的基于虚拟数字人的人机交互方法，其特征在于，对所述多个人机交互手势关键帧进行特征提取以得到手势关节动态特征向量和手势动态特征向量，包括：
4.根据权利要求3所述的基于虚拟数字人的人机交互方法，其特征在于，对所述多个人机交互手势关键帧进行手势关节特征编码以得到所述手势关节动态特征向量，包括：
5.根据权利要求4所述的基于虚拟数字人的人机交互方法，其特征在于，对所述由穿戴设备采集的用户多个预定时间点的手势动作加速度值和角度值进行特征提取以得到所述手势动作全局关联特征向量，包括：
6.根据权利要求5所述的基于虚拟数字人的人机交互方法，其特征在于，基于所述手势关联特征向量和所述手势动作全局关联特征向量，生成用户肢体指令标签，包括：
7.根据权利要求6所述的基于虚拟数字人的人机交互方法，其特征在于，对所述手势分类特征向量进行基于编码映射域参数空间的前向兼容性增强以得到优化手势分类特征向量，包括：
8.一种基于虚拟数字人的人机交互装置，其特征在于，包括：
9.根据权利要求8所述的基于虚拟数字人的人机交互方法，其特征在于，所述人机交互数据特征提取模块，包括：
10.一种设备和存储介质，其特征在于，包括：
