手势识别方法、装置、存储介质及可穿戴设备与流程

    技术2025-02-17  46


    本技术涉及生物信号处理,尤其涉及一种手势识别方法、装置、存储介质及可穿戴设备。


    背景技术:

    1、肌电图(electromyography,emg)信号是肌肉组织在收缩过程中产生的电生理信号,其能够表达肌肉动作的情况。目前,通过表面肌电信号(surface electromyography,semg)能够识别出手部进行的微小动作,因此常被用于构建手势识别系统。

    2、现有技术中,大多数手势识别系统会通过大量用户的数据训练获得一个通用的手势识别模型。然而,由于不同人的身体状况、肌肉力量、动作习惯等差异,使得相同动作由不同人做出时,产生的emg信号也各不同。因此,当新用户使用时,可先通过该新用户的数据对手势识别模型进行校准,而为了使校准后的手势识别模型更适合该新用户,还可再用该新用户的少量有标签的数据在这个手势识别模型上进行微调,使模型更切合该新用户,但会导致出现灾难性遗忘的现象,即训练过度,使得模型忘记很多已学习到的信息,更偏向于该新用户,进而下一位用户在使用时训练效果较差,影响用户体验。


    技术实现思路

    1、本技术的主要目的在于提供一种手势识别方法、装置、存储介质及可穿戴设备,旨在解决现有的新用户对手势识别模型进行校准后,再通过该新用户的少量有标签的数据进行微调,导致获得的手势识别模型出现灾难性遗忘,进而下一位用户在使用时训练效果较差的技术问题。

    2、为实现上述目的,本技术实施例提供一种手势识别方法,所述方法包括:

    3、获取通用手势识别模型的历史模型参数,所述通用手势识别模型基于历史用户的肌电图信号迭代训练获得;

    4、通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对所述通用手势识别模型进行训练,获得初始手势识别模型;

    5、根据所述历史模型参数以及所述当前用户的校准肌电图信号对所述初始手势识别模型进行训练,获得目标手势识别模型;

    6、通过所述目标手势识别模型对采集的所述当前用户的肌电图信号进行手势识别。

    7、在一实施例中,所述通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对所述通用手势识别模型进行训练,获得初始手势识别模型的步骤,包括:

    8、确定不同标定用户的标定肌电图信号与当前用户的历史肌电图信号之间的域相似度;

    9、基于所述域相似度从所述标定肌电图信号中选取参考肌电图信号;

    10、通过所述参考肌电图信号以及所述历史肌电图信号对所述通用手势识别模型进行训练,获得初始手势识别模型。

    11、在一实施例中,所述通过所述参考肌电图信号以及所述历史肌电图信号对所述通用手势识别模型进行训练,获得初始手势识别模型的步骤,包括:

    12、通过所述通用手势识别模型的中间层分别获得所述参考肌电图信号对应的源域中间特征向量以及所述历史肌电图信号对应的目标域中间特征向量;

    13、基于所述通用手势识别模型的第一输出层分别获得所述参考肌电图信号对应的源域手势类别概率以及所述历史肌电图信号对应的主目标域手势类别概率;

    14、根据所述源域中间特征向量、所述目标域中间特征向量、所述源域手势类别概率和所述主目标域手势类别概率构建一轮训练损失函数;

    15、通过所述一轮训练损失函数对所述通用手势识别模型进行训练,获得初始手势识别模型。

    16、在一实施例中,所述根据所述源域中间特征向量、所述目标域中间特征向量、所述源域手势类别概率和所述主目标域手势类别概率构建一轮训练损失函数的步骤,包括:

    17、根据所述源域中间特征向量和所述目标域中间特征向量构建联合最大均值差异损失函数;

    18、通过所述源域手势类别概率构建第一交叉熵损失函数,并通过所述主目标域手势类别概率构建最小类混淆损失函数;

    19、基于所述联合最大均值差异损失函数、所述第一交叉熵损失函数和所述最小类混淆损失函数构建一轮训练损失函数。

    20、在一实施例中,所述通过所述主目标域手势类别概率构建最小类混淆损失函数的步骤,包括:

    21、对所述主目标域手势类别概率进行概率调整,并对调整后的主目标域手势类别概率进行重加权;

    22、对重加权后的主目标域手势类别概率进行类关联性减小操作,并基于操作结果构建最小类混淆损失函数。

    23、在一实施例中,所述一轮训练损失函数为:

    24、loss1=lce(s)+αljmmd(s,t)+βlmcc(t);

    25、其中,loss1为所述一轮训练损失函数,lce(s)为所述第一交叉熵损失函数,ljmmd(s,t)为所述联合最大均值差异损失函数,lmcc(t)为所述最小类混淆损失函数,α为第一预设权重参数,β为第二预设权重参数。

    26、在一实施例中,所述根据所述历史模型参数以及所述当前用户的校准肌电图信号对所述初始手势识别模型进行训练,获得目标手势识别模型的步骤,包括:

    27、获取所述初始手势识别模型的当前模型参数,并基于所述当前模型参数、预设超参数以及所述历史模型参数构建正则项;

    28、通过所述正则项构建第二交叉熵损失函数,并根据所述第二交叉熵损失函数以及所述当前用户的校准肌电图信号对所述初始手势识别模型进行训练,获得目标手势识别模型。

    29、在一实施例中,所述通过所述正则项构建第二交叉熵损失函数的步骤,包括:

    30、通过所述通用手势识别模型的第二输出层获得所述当前用户的校准肌电图信号对应的校准手势识别概率;

    31、确定所述校准肌电图信号对应的校准数据标签,并基于所述校准手势识别概率、所述校准数据标签以及所述正则项构建第二交叉熵损失函数。

    32、在一实施例中,所述第二交叉熵损失函数为:

    33、

    34、其中,lce-2(t′)为所述第二交叉熵损失函数,c为手势类别个数,ysi为第i个所述手势类别对应的校准数据标签,pi为第i个所述手势类别对应的校准手势识别概率,λ为所述预设超参数,θ为所述历史模型参数,θ0为所述初始手势识别模型的当前模型参数。

    35、在一实施例中,所述根据所述第二交叉熵损失函数以及所述当前用户的校准肌电图信号对所述初始手势识别模型进行训练,获得目标手势识别模型的步骤,包括:

    36、对所述主目标域手势类别概率进行置信度检验,获得目标域伪标签,并基于所述通用手势识别模型的第二输出层获得所述历史肌电图信号对应的辅助目标域手势类别概率;

    37、根据所述目标域伪标签以及所述辅助目标域手势类别概率构建广义交叉熵损失函数,并根据所述广义交叉熵损失函数和所述第二交叉熵损失函数构建二轮训练损失函数;

    38、通过所述二轮训练损失函数对所述初始手势识别模型进行训练,获得目标手势识别模型。

    39、在一实施例中,所述广义交叉熵损失函数为:

    40、

    41、其中,lgce(t)为所述广义交叉熵损失函数,c为所述手势类别个数,yti为第i个所述手势类别对应的目标域伪标签,pi为第i个所述手势类别对应的校准手势识别概率,q为预设调节参数。

    42、在一实施例中,所述二轮训练损失函数为:

    43、loss2=lgce(t)+γlce-2(t′);

    44、其中,loss2为所述二轮训练损失函数,lgce(t)为所述广义交叉熵损失函数,lce-2(t′)为所述第二交叉熵损失函数,γ为预设第三权重。

    45、在一实施例中,所述参考肌电图信号的数量为至少两个,所述目标手势识别模型的数量与所述参考肌电图信号的数量一致;

    46、所述通过所述目标手势识别模型对采集的所述当前用户的肌电图信号进行手势识别的步骤,包括:

    47、通过各所述目标手势识别模型分别对采集的所述当前用户的肌电图信号进行手势识别,获得各所述目标手势识别模型对应的初始识别结果;

    48、对各所述初始识别结果进行集成,获得目标手势识别结果。

    49、在一实施例中,所述通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对所述通用手势识别模型进行训练的步骤之前,还包括:

    50、判断当前用户是否为首次使用用户;

    51、若是,则将所述当前用户的校准肌电图信号作为所述当前用户的历史肌电图信号,并执行所述通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对所述通用手势识别模型进行训练的步骤。

    52、此外,为实现上述目的,本技术实施例还提出一种手势识别装置,所述装置包括:

    53、参数获取模块,用于获取通用手势识别模型的历史模型参数,所述通用手势识别模型基于历史用户的肌电图信号迭代训练获得;

    54、一轮训练模块,用于通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对所述通用手势识别模型进行训练,获得初始手势识别模型;

    55、二轮训练模块,用于根据所述历史模型参数以及所述当前用户的校准肌电图信号对所述初始手势识别模型进行训练,获得目标手势识别模型;

    56、手势识别模块,用于通过所述目标手势识别模型对采集的所述当前用户的肌电图信号进行手势识别。

    57、此外,为实现上述目的,本技术实施例还提出一种存储介质,所述存储介质上存储有手势识别程序,所述手势识别程序被处理器执行时实现如上文所述的手势识别方法。

    58、此外,为实现上述目的,本技术实施例还提出一种可穿戴设备,所述可穿戴设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序,所述手势识别程序被所述处理器执行时实现如上文所述的手势识别方法。

    59、本技术实施例提供一种手势识别方法、装置、存储介质及可穿戴设备,该方法包括:获取通用手势识别模型的历史模型参数,通用手势识别模型基于历史用户的肌电图信号迭代训练获得;通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对通用手势识别模型进行训练,获得初始手势识别模型;根据历史模型参数以及当前用户的校准肌电图信号对初始手势识别模型进行训练,获得目标手势识别模型;通过目标手势识别模型对采集的当前用户的肌电图信号进行手势识别。

    60、本技术实施例可先通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对通用手势识别模型进行训练,获得初始手势识别模型,在这过程中由于标定肌电图信号来自不同标定用户,再结合当前用户的历史肌电图信号,进而可使获得的初始手势识别模型在切合当前用户的前提下又防止过度偏移当前用户;接着可再通过通用手势识别模型的历史模型参数以及当前用户的校准肌电图信号对初始手势识别模型进行训练,获得目标手势识别模型,在这过程中由于通用手势识别模型基于历史用户的肌电图信号迭代训练获得,再结合当前用户的校准肌电图信号,进而可使获得的目标手势识别模型进一步在切合当前用户的前提下又防止过度偏移当前用户;最后通过获得的目标手势识别模型对当前用户的肌电图信号进行手势识别。相比于现有的在用户进行校准后再采用该用户的少量有标签数据进行微调,本技术可先通过不同标定用户的标定肌电图信号与当前用户的历史肌电图信号进行训练,再通过通用手势识别模型的历史模型参数以及当前用户的校准肌电图信号进行训练,使获得的目标手势识别模型在切合当前用户的同时减少出现灾难性遗忘的现象,进而可减少对下一位用户训练的影响,提升用户体验。


    技术特征:

    1.一种手势识别方法,其特征在于,所述方法包括:

    2.如权利要求1所述的方法,其特征在于,所述通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对所述通用手势识别模型进行训练,获得初始手势识别模型的步骤,包括:

    3.如权利要求2所述的方法,其特征在于,所述通过所述参考肌电图信号以及所述历史肌电图信号对所述通用手势识别模型进行训练,获得初始手势识别模型的步骤,包括:

    4.如权利要求3所述的方法,其特征在于,所述根据所述源域中间特征向量、所述目标域中间特征向量、所述源域手势类别概率和所述主目标域手势类别概率构建一轮训练损失函数的步骤,包括:

    5.如权利要求4所述的方法,其特征在于,所述通过所述主目标域手势类别概率构建最小类混淆损失函数的步骤,包括:

    6.如权利要求4所述的方法,其特征在于,所述一轮训练损失函数为:

    7.如权利要求3所述的方法,其特征在于,所述根据所述历史模型参数以及所述当前用户的校准肌电图信号对所述初始手势识别模型进行训练,获得目标手势识别模型的步骤,包括:

    8.如权利要求7所述的方法,其特征在于,所述通过所述正则项构建第二交叉熵损失函数的步骤,包括:

    9.如权利要求8所述的方法,所述第二交叉熵损失函数为:

    10.如权利要求8所述的方法,其特征在于,所述根据所述第二交叉熵损失函数以及所述当前用户的校准肌电图信号对所述初始手势识别模型进行训练,获得目标手势识别模型的步骤,包括:

    11.如权利要求10所述的方法,其特征在于,所述广义交叉熵损失函数为:

    12.如权利要求11所述的方法,其特征在于,所述二轮训练损失函数为:

    13.如权利要求2所述的方法,其特征在于,所述参考肌电图信号的数量为至少两个,所述目标手势识别模型的数量与所述参考肌电图信号的数量一致;

    14.如权利要求1至13中任一项所述的方法,其特征在于,所述通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对所述通用手势识别模型进行训练的步骤之前,还包括:

    15.一种手势识别装置,其特征在于,所述装置包括:

    16.一种存储介质,其特征在于,所述存储介质上存储有手势识别程序,所述手势识别程序被处理器执行时实现如权利要求1至14中任一项所述的手势识别方法。

    17.一种可穿戴设备,其特征在于,所述可穿戴设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序,所述手势识别程序被所述处理器执行时实现如权利要求1至14中任一项所述的手势识别方法。


    技术总结
    本申请涉及生物信号处理技术领域,公开了一种手势识别方法、装置、存储介质及可穿戴设备,该方法包括:获取通用手势识别模型的历史模型参数,通用手势识别模型基于历史用户的肌电图信号迭代训练获得;通过不同标定用户的标定肌电图信号以及当前用户的历史肌电图信号对通用手势识别模型进行训练,获得初始手势识别模型;根据历史模型参数以及当前用户的校准肌电图信号对初始手势识别模型进行训练,获得目标手势识别模型;通过目标手势识别模型对采集的当前用户的肌电图信号进行手势识别。相比于现有的,本申请可减少对下一位用户训练的影响,提升用户体验。

    技术研发人员:韩有方,陈相金,王琳
    受保护的技术使用者:歌尔股份有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-26683.html

    最新回复(0)