本申请涉及计算机，尤其涉及一种基于对比学习的多模态情感识别方法及装置。
背景技术：
1、随着互联网和新媒体技术的快速发展，社交媒体平台、短视频应用及各种在线社交互动逐渐成为人们表达情感和观点的主要渠道。用户通过文字、图片、音频和视频等多种模态，向外界传达他们对事件、产品甚至生活的情感和看法。这一现象产生了海量的多模态数据，其中蕴含着丰富的情感信息。多模态情感识别（multimodal sentiment analysis）作为一个新兴的研究领域，旨在利用多种模态的信息，如文本、图像、音频和视频等，来深入理解和预测用户的情感和情感倾向。
2、现有的多模态情感识别模型通常依赖于传统的特征学习方法构建情感模态分析模型用以识别和分类用户的情感，但这种方式在实际应用过程中容易陷入误判，导致难以准确识别和分类用户的情感。
技术实现思路
1、本申请提供了一种基于对比学习的多模态情感识别方法及装置，用于解决现有的多模态情感识别技术存在的识别准确度低的技术问题。
2、为解决上述技术问题，本申请第一方面提供了一种基于对比学习的多模态情感识别方法，包括：
3、获取样本情感数据，再对所述样本数据进行模态情感特征提取，得到多模态情感特征数据，所述多模态情感数据包括：视觉模态数据、语音模态数据以及文本模态数据；
4、将所述多模态情感特征数据两两配对，得到多组正样本组和负样本组，其中，每个所述正样本组包括情感类别相同的两个数据样本的单模态表示，每个所述负样本组为情感类别不同的两个数据样本的单模态表示；
5、将所述正样本组和负样本组输入初始的对比学习模型，再结合模态内对比损失函数和细化损失函数，训练所述对比学习模型；
6、获取待分析的情感数据，以根据从所述情感数据得到的多模态情感特征数据，通过训练好的对比学习模型对所述多模态情感特征进行处理后，结合mae回归损失函数，得到用户情感识别结果。
7、优选地，所述获取样本情感数据，再对所述样本数据进行模态情感特征提取，得到多模态情感特征数据之后还包括：
8、对所述多模态情感特征数据进行数据增强处理。
9、优选地，所述对所述多模态情感特征数据进行数据增强处理具体包括：
10、根据所述多模态情感特征数据中的视觉模态数据和文本模态数据，筛选任意两个样本的视觉模态数据和文本模态数据；
11、通过加权求和运算，将所述两个样本的视觉模态数据进行增强整合，得到新的视觉模态数据；
12、通过文本连接处理，将所述两个样本的文本模态数据进行增强整合，得到新的文本模态数据。
13、优选地，所述模态对比损失函数具体为：
14、
15、式中，为同一模态内的对比损失函数的输出，为的细化损失，为不同模态间的对比损失函数的输出，为的细化损失，为对由所述正样本组和负样本组共同组成的集合s的期望运算符，m为模态标识，为锚点表示，和分别为正样本组的样本和负样本组的样本，n为正样本的数量，m为负样本的数量。
16、优选地，所述细化损失函数具体为：
17、
18、
19、式中，α为模态分布调整系数。
20、同时，本申请第二方面提供了一种基于对比学习的多模态情感识别装置，包括：
21、模态特征提取单元，用于获取样本情感数据，再对所述样本数据进行模态情感特征提取，得到多模态情感特征数据，所述多模态情感数据包括：视觉模态数据、语音模态数据以及文本模态数据；
22、正负样本确定单元，用于将所述多模态情感特征数据两两配对，得到多组正样本组和负样本组，其中，每个所述正样本组包括情感类别相同的两个数据样本的单模态表示，每个所述负样本组为情感类别不同的两个数据样本的单模态表示；
23、对比学习训练单元，用于将所述正样本组和负样本组输入初始的对比学习模型，再结合模态内对比损失函数和细化损失函数，训练所述对比学习模型；
24、情感识别处理单元，用于获取待分析的情感数据，以根据从所述情感数据得到的多模态情感特征数据，通过训练好的对比学习模型对所述多模态情感特征进行处理后，结合mae回归损失函数，得到用户情感识别结果。
25、优选地，还包括：
26、增强处理单元，用于对所述多模态情感特征数据进行数据增强处理。
27、优选地，所述增强处理单元具体用于：
28、根据所述多模态情感特征数据中的视觉模态数据和文本模态数据，筛选任意两个样本的视觉模态数据和文本模态数据；
29、通过加权求和运算，将所述两个样本的视觉模态数据进行增强整合，得到新的视觉模态数据；
30、通过文本连接处理，将所述两个样本的文本模态数据进行增强整合，得到新的文本模态数据。
31、优选地，所述模态对比损失函数具体为：
32、
33、式中，为同一模态内的对比损失函数的输出，为的细化损失，为不同模态间的对比损失函数的输出，为的细化损失，为对由所述正样本组和负样本组共同组成的集合s的期望运算符，m为模态标识，为锚点表示，和分别为正样本组的样本和负样本组的样本，n为正样本的数量，m为负样本的数量。
34、优选地，所述细化损失函数具体为：
35、
36、
37、式中，α为模态分布调整系数。
38、从以上技术方案可以看出，本申请具有以下优点：
39、本申请的方案先基于获取到的样本数据进行模态情感特征提取，得到多模态情感特征数据，然后将多模态情感特征数据两两配对，得到多组正样本组和负样本组，其中，每个正样本组包括情感类别与模态类型相同的两个数据样本的单模态表示，每个负样本组为模态类型相同但情感类别不同的两个数据样本的单模态表示，再结合预设的模态内对比损失函数和细化损失函数，最大化正样本相似度和最小化负样本相似度，能够更好地捕捉模态内和模态间的动态关系，从而提升了模型对同一模态内以及不同模态间的理解和融合能力，使其能够更精准地捕捉和分类用户的情感表达。
1.一种基于对比学习的多模态情感识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于对比学习的多模态情感识别方法，其特征在于，所述获取样本情感数据，再对所述样本数据进行模态情感特征提取，得到多模态情感特征数据之后还包括：
3.根据权利要求2所述的一种基于对比学习的多模态情感识别方法，其特征在于，所述对所述多模态情感特征数据进行数据增强处理具体包括：
4.根据权利要求1所述的一种基于对比学习的多模态情感识别方法，其特征在于，所述模态对比损失函数具体为：
5.根据权利要求4所述的一种基于对比学习的多模态情感识别方法，其特征在于，所述细化损失函数具体为：
6.一种基于对比学习的多模态情感识别装置，其特征在于，包括：
7.根据权利要求6所述的一种基于对比学习的多模态情感识别装置，其特征在于，还包括：
8.根据权利要求7所述的一种基于对比学习的多模态情感识别装置，其特征在于，所述增强处理单元具体用于：
9.根据权利要求6所述的一种基于对比学习的多模态情感识别装置，其特征在于，所述模态对比损失函数具体为：
10.根据权利要求9所述的一种基于对比学习的多模态情感识别装置，其特征在于，所述细化损失函数具体为：
