一种基于多感知推荐算法的智能情绪调节系统

    技术2024-12-28  45


    本发明涉及大数据人工智能,具体的是一种基于多感知推荐算法的智能情绪调节系统。


    背景技术:

    1、情绪是人类在面对各种事物或环境时,所产生的主观心理体验和生理反应。情绪往往会受到受到外部因素的影响,音乐心理学家通过试验的方法证明不同的音调音质对人们的情绪状态具有一定的影响与调节作用,并且气味是一种强大的感官刺激,它在调节情绪方面也存在一定的效果。


    技术实现思路

    1、为解决上述背景技术中提到的不足,本发明的目的在于提供一种基于多感知推荐算法的智能情绪调节系统。

    2、第一方面,本发明的目的可以通过以下技术方案实现:一种基于多感知推荐算法的智能情绪调节系统,包括:

    3、面部采集模块:用于获取用户的面部视频信号数据,并将用户的面部视频信号数据发送至智能分析模块;

    4、智能分析模块:根据用户的面部视频信号数据,进行不同层面上的情绪特征提取,然后对融合后的情绪特征进行分类,从而判别用户的情绪状态,将用户的情绪状态发送至智能控制模块;

    5、智能控制模块:根据用户的情绪状态,提取用户的偏好音乐特征,并与设定的推荐音乐特征相融合,得到融合音乐特征,将融合音乐特征输入至预先建立的transformer模型中的多头注意力机制进行计算,输出得到聚合的音乐特征表示,根据聚合的音乐特征表示将对应的音频信号发送至音频播放模块,根据音频信号将对应的气味信号发送至气味释放模块;

    6、音频播放模块:在接收到音频信号后,对音频进行播放;

    7、气味释放模块:在接收到气味信号后,对气味进行释放。

    8、结合第一方面,在第一方面的某些实现方式中,该系统还包括:所述面部采集模块采用可见光摄像头进行采集,所述可见光摄像头安置在便携式设备上方,通过调节便携式设备的位置以及转动可见光摄像头的方向以对准用户脸部前方,从而采集用户的面部视频信号数据,其中,所述可见光摄像头采用cmos传感器作为芯片。

    9、结合第一方面,在第一方面的某些实现方式中,该系统还包括:所述智能分析模块内将用户的面部视频信号数据输入至面部表情特征提取器以及基于rppg信号的情绪特征提取器内,得到第一情绪特征和第二情绪特征,二者在各自特征提取的过程中经过扁平化及全连接层操作,在维度上是统一的,将第一情绪特征与第二情绪特征进行加权融合,将融合后的情绪特征输入至情绪分类器内,从而判别用户的情绪状态。

    10、结合第一方面,在第一方面的某些实现方式中,该系统还包括:所述面部表情特征提取器采用一种改进的vggnet卷积神经网络模型,所述基于rppg信号的情绪特征提取器采用深度时空网络模型。

    11、结合第一方面,在第一方面的某些实现方式中,该系统还包括:所述改进的vggnet卷积神经网络模型如下:

    12、y1=p1(b2(σ(conv2(b1(σ(conv1(xv)))))))

    13、y2=p2(b4(σ(conv4(b3(σ(conv3(y1)))))))

    14、y3=p3(b6(σ(conv6(b5(σ(conv5(y2)))))))

    15、yv=f1(p4(b8(σ(conv8(b7(σ(conv7(y3))))))))

    16、其中,xv为该模型的输入,yv为该模型的输出,y1~y3为该模型的中间特征,conv1~conv8表示卷积层,σ表示relu激活层,b1~b8表示批量归一化层,p1~p4表示最大池化层,f1表示全连接层,f1是为了便于后续的特征融合与分类而设计。

    17、所述深度时空网络模型模型如下:

    18、yr=f2(conv12(avg(conv11(σ(conv10(p5(conv9(xr))))))))

    19、其中,xr为该模型的输入,yr为该模型的输出,conv9~conv12表示卷积层,p5表示最大池化层,avg表示平均池化层,f2表示全连接层,f2也是为了便于后续的特征融合与分类而设计。

    20、结合第一方面,在第一方面的某些实现方式中,该系统还包括:所述智能控制模块包括基于图神经网络的top-n音乐与气味推荐模型,通过聚合的音乐特征表示从海量音乐库中获取排名靠前的n首音乐作为top-n音乐推荐列表,从而生成音频信号,然后气味推荐模型通过top-n音乐推荐列表推荐对应的气味,从而生成气味信号。

    21、结合第一方面,在第一方面的某些实现方式中,该系统还包括:所述音频播放模块包括安装在便携式设备上的一个扬声器,以及音频播放器、切换按键、开关按键、数据存储模块;所述数据存储模块内储存了一个音乐库。

    22、结合第一方面,在第一方面的某些实现方式中,该系统还包括:所述气味释放模块包括温度传感器、加热器体、风机、控制器、切换按键、开关按键、多个可盛放固体香薰的香盒;所述固体香薰的气味包括:薄荷香,柠檬香,熏香,沉香,檀香等等;所述加热器体对固体香薰进行加热;所述风机将香薰气体轻轻吹出;所述香盒里的固体香薰能够更换;所述香盒的数目可调。

    23、在本发明的另一方面,为了达到上述目的,公开了一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,所述存储器中存储有能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了如上所述的一种基于多感知推荐算法的智能情绪调节系统。

    24、本发明的有益效果:

    25、本发明通过所提出的基于图神经网络的top-n音乐与气味推荐算法,在音乐与气味的组合作用下,实现对用户情绪状态的有效调节。该系统不仅能够实时地、有效地识别出用户当前的情绪状态,而且能够根据用户一段时间内情绪状态的变化,为用户推荐适合的音乐与气味,实现对用户情绪状态的有效调节;该系统设备可实现非接触式的无感测量,同时具备体积小、质量轻、便携性好、成本低等优点,可提高用户的使用体验。



    技术特征:

    1.一种基于多感知推荐算法的智能情绪调节系统,其特征在于,包括:

    2.根据权利要求1所述的一种基于多感知推荐算法的智能情绪调节系统,其特征在于,所述面部采集模块采用可见光摄像头进行采集,所述可见光摄像头安置在便携式设备上方,通过调节便携式设备的位置以及转动可见光摄像头的方向以对准用户脸部前方,从而采集用户的面部视频信号数据,其中,所述可见光摄像头采用cmos传感器作为芯片。

    3.根据权利要求1所述的一种基于多感知推荐算法的智能情绪调节系统,其特征在于,所述智能分析模块内将用户的面部视频信号数据输入至面部表情特征提取器以及基于rppg信号的情绪特征提取器内,得到第一情绪特征和第二情绪特征,二者在各自特征提取的过程中经过扁平化及全连接层操作,在维度上是统一的,将第一情绪特征与第二情绪特征进行加权融合,将融合后的情绪特征输入至情绪分类器内,从而判别用户的情绪状态。

    4.根据权利要求3所述的一种基于多感知推荐算法的智能情绪调节系统,其特征在于,所述面部表情特征提取器采用一种改进的vggnet卷积神经网络模型,所述基于rppg信号的情绪特征提取器采用深度时空网络模型。

    5.根据权利要求4所述的一种基于多感知推荐算法的智能情绪调节系统,其特征在于,所述改进的vggnet卷积神经网络模型如下:

    6.根据权利要求1所述的一种基于多感知推荐算法的智能情绪调节系统,其特征在于,所述智能控制模块包括基于图神经网络的top-n音乐与气味推荐模型,通过聚合的音乐特征表示从海量音乐库中获取排名靠前的n首音乐作为top-n音乐推荐列表,从而生成音频信号,然后气味推荐模型通过top-n音乐推荐列表推荐对应的气味,从而生成气味信号。

    7.根据权利要求1所述的一种基于多感知推荐算法的智能情绪调节系统,其特征在于,所述音频播放模块包括安装在便携式设备上的一个扬声器,以及音频播放器、切换按键、开关按键、数据存储模块;所述数据存储模块内储存了一个音乐库。

    8.根据权利要求1所述的一种基于多感知推荐算法的智能情绪调节系统,其特征在于,所述气味释放模块包括温度传感器、加热器体、风机、控制器、切换按键、开关按键、多个可盛放固体香薰的香盒;所述固体香薰的气味包括:薄荷香,柠檬香,熏香,沉香,檀香;所述加热器体对固体香薰进行加热;所述风机将香薰气体轻轻吹出;所述香盒里的固体香薰能够更换;所述香盒的数目可调。

    9.一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,其特征在于,所述存储器中存储有能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了权利要求1至8中任一项所述的一种基于多感知推荐算法的智能情绪调节系统。


    技术总结
    本发明公开了一种基于多感知推荐算法的智能情绪调节系统,涉及大数据人工智能技术领域,通过所提出的基于图神经网络的top‑N音乐与气味推荐算法,在音乐与气味的组合作用下,实现对用户情绪状态的有效调节。该系统不仅能够实时地、有效地识别出用户当前的情绪状态,而且能够根据用户一段时间内情绪状态的变化,为用户推荐适合的音乐与气味,实现对用户情绪状态的有效调节;该系统设备可实现非接触式的无感测量,同时具备体积小、质量轻、便携性好、成本低等优点,可提高用户的使用体验。

    技术研发人员:李潍,刘树霞,刘腾,朱智豪,徐成,宋爱国
    受保护的技术使用者:东南大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-24403.html

    最新回复(0)