本发明涉及计算机图形学,特别是关于一种人体运动生成方法及介质。
背景技术:
1、在虚拟现实、游戏开发、动画制作以及在复杂环境中的机器人模拟等领域,人体运动生成是一个重要的研究方向,在创造沉浸式和引人入胜的内容中扮演了关键角色。
2、随着深度学习技术的进步,从不同模态生成人体运动成为可能。
3、基于视觉的方法和基于惯性测量单元(imus)的方法利用空间信号生成符合用户期望的运动。然而,视觉驱动方法易受遮挡和截断的影响,损害了生成运动的稳健性;而imu驱动方法则需要繁琐的传感器布置和校准,成本也较高。
4、另一方面,文本驱动的方法提供了灵活性和创造性表达,单阶段方法直接学习文本与姿态之间的映射,而双阶段方法引入了离散的运动表示以提高性能。然而,这些方法常常难以生成准确符合用户意图的空间轨迹的运动。
5、在空间控制精度和运动真实感之间存在固有的权衡,这在人体运动生成中是一个显著的挑战。过度强调空间控制可能导致不自然和机械化的运动,而优先考虑运动的真实感可能会损害对特定空间轨迹的遵循。现有方法在平衡这两个方面时遇到困难,导致运动不自然或偏离预定的空间路径。此外,空间引导信号与人体肢体的相对旋转存在于不同的表示空间,这进一步增加了沿特定轨迹精确控制人体运动的复杂性。基于可控扩散的生成模型已在各种模态中合成高质量样本方面表现出色。通过引入一个可训练的预训练扩散模型副本来处理控制信号,同时保持生成能力,这在同一2d图像空间内实现。研究人员已将此技术应用于人体运动控制领域
6、然而,与2d图像不同,空间引导信号、文本和人体肢体的相对旋转并不处于同一表示空间。忽略这种表示空间的差异可能会导致性能下降,同时文本特征和空间引导信号同时控制容易造成生成模型对于控制意图的混淆,导致生成的人体运动不自然或者违反人体构造,因此,亟须一种自适应文本与轨迹控制信号引导的人体动作可控生成方法。
技术实现思路
1、针对上述问题,本发明的目的是提供一种人体运动生成方法,该方法基于文本和空间信号,利用创新的控制调节器、自然引导模块和融合扩散模块,产生预测的人体运动,同时满足了空间控制精度和运动真实性。
2、为实现上述目的,本发明采取以下技术方案:
3、第一方面,本申请提供一种人体运动生成方法,所述方法,包括:
4、(1)收集人体运动数据集,所述人体运动数据集中的人体运动对应有文本描述和空间信号;
5、(2)利用所述人体运动数据集,训练人体运动生成模型,所述人体运动生成模型的架构包括:自然引导模块、控制主导调节器和融合扩散模块;
6、(3)利用训练好的人体运动生成模型,根据用户输入的文本和空间信号,输出对应预测的人体运动。
7、在一种实现方式中,所述人体运动数据集的输入包括:用户提供的空间信号,指定关键帧关节位置,以及用户输入的文本提示,描述所需的动作,其中是帧数,是关节数;
8、所述人体运动数据集中的输出为一个完整的人体动作序列,与用户的空间信号和文本提示相对应,其中是相对关节表示的维度。
9、在一种实现方式中,所述人体运动生成模型基于去噪扩散模型。
10、在一种实现方式中,所述自然引导模块由分析函数和优化器构成,这两者协同工作以使生成的运动与期望的空间位置对齐并维持自然动作特性;其中,
11、分析函数由两部分组成:空间对齐项和自然运动项;
12、空间对齐项评估生成的运动与期望的空间位置之间的对齐情况:
13、
14、
15、完整的分析函数组合了空间对齐和自然运动项:
16、。
17、在一种实现方式中,所述控制主导调节器,自适应地组合空间特征和提示特征,采用了多头注意力机制,该机制包括两个注意力层:一个从提示特征到空间特征,另一个从空间特征到提示特征;然后,多头注意力机制的输出经过dropout正则化和层归一化,得到的融合特征接着通过最后一层的层归一化和dropout层进行处理,以精炼特征表征。
18、在一种实现方式中,引入了一组零初始化的线性层,在融合扩散模块的每个编码器层与其在运动扩散模块中的对应层之间建立连接。
19、在一种实现方式中,训练过程中的损失函数为:
20、其中,使用l2范数量化生成运动与真实运动序列之间的差异,自然运动损失为于自然引导模块中的组件,通过评估脚部关节的速度及其与地面的高度来惩罚脚滑动。
21、第二方面,提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行,实现第一方面所述的人体运动生成方法。
22、本发明由于采取以上技术方案,其具有以下优点:
23、(1)发明创新性地提出自适应文本引导控制方法,一种用于自适应人类运动控制和生成的新型框架人体运动控制和生成的新框架,该框架能将空间控制精度和运动逼真度和谐地融为一体。
24、(2)发明引入自然引导模块和控制主导调整器模块。自然引导模块可优化生成的运动,使其符合空间约束条件,同时保持逼真的动态效果。控制主导调整器模块可自适应地融合文本和空间信号的特征,在空间引导和语义一致性之间取得平衡。
25、(3) 发明在轨迹保真度、运动自然度和语义准确度方面都超过了目前的领先方法,突出了其在各种交互式多媒体和动画领域的适用性。
1.一种人体运动生成方法,其特征在于,所述方法,包括:
2.根据权利要求1所述的人体运动生成方法,其特征在于,所述人体运动数据集的输入包括:用户提供的空间信号,指定关键帧关节位置,以及用户输入的文本提示,描述所需的动作,其中是帧数,是关节数;
3.根据权利要求1所述的人体运动生成方法,其特征在于,所述人体运动生成模型基于去噪扩散模型。
4.根据权利要求3所述的人体运动生成方法,其特征在于,所述自然引导模块由分析函数 和优化器构成,这两者协同工作以使生成的运动与期望的空间位置对齐并维持自然动作特性;其中,
5.根据权利要求4所述的人体运动生成方法,其特征在于,所述控制主导调节器,自适应地组合空间特征和提示特征,采用了多头注意力机制,该机制包括两个注意力层:一个从提示特征到空间特征,另一个从空间特征到提示特征;然后,多头注意力机制的输出经过dropout正则化和层归一化,得到的融合特征接着通过最后一层的层归一化和dropout层进行处理,以精炼特征表征。
6.根据权利要求5所述的人体运动生成方法,其特征在于,引入了一组零初始化的线性层,在融合扩散模块的每个编码器层与其在运动扩散模块中的对应层之间建立连接。
7.根据权利要求6所述的人体运动生成方法,其特征在于,训练过程中的损失函数为:
8.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行,实现权利要求1至7任一项所述的人体运动生成方法。