本发明涉及图像识别，尤其涉及一种面部表情识别方法、模型训练方法、装置、设备和介质。
背景技术：
1、面部表情分析在心理学研究、数字娱乐、人机交互和医疗保健等各种应用中都发挥着重要作用，因此，提高面部表情识别的准确性意义重大。
2、自然场景下面部表情识别的主要挑战在于不规则遮挡和头部姿态变化。现有技术大多数都是基于卷积神经网络，通过定位人脸关键坐标点等方法来解决遮挡和头部姿态变化等问题。然而，发明人发现现有技术至少存在如下问题：这些基于cnn的表情识别方法往往缺乏鲁棒性，需要不断叠加卷积层来实现从局部到全局的特征提取，计算量会大大增加，并伴有梯度消失的问题，使得网络无法收敛，并且没有考虑到自然场景下光照或姿势变化等因素对人脸表情识别的影响，使得提出的表情识别方法的准确率大大降低。
技术实现思路
1、本发明实施例的目的是提供一种面部表情识别方法、模型训练方法、装置、设备和介质，其能够通过面部局部注意特征和全局特征的融合，提升对自然场景下面部表情的识别性能，提高了面部表情识别的精准性。
2、为实现上述目的，本发明实施例提供了一种面部表情识别模型训练方法，包括：
3、获取训练数据集；其中，所述训练数据集包含若干个训练样本图像，所述训练样本图像为面部表情图像；
4、构建面部表情识别模型；其中，所述面部表情识别模型包括局部注意特征模块和全局特征模块；
5、将所述训练样本图像输入所述面部表情识别模型中，分别通过所述局部注意特征模块提取局部注意特征，通过所述全局特征模块提取全局上下关系特征，根据所述局部显著特征和所述全局上下关系特征，识别得到面部表情识别结果；
6、计算目标损失函数，并以所述目标损失函数最小化为目标，更新所述面部表情识别模型中各模块的参数，以得到训练完成的面部表情识别模型。
7、作为上述方案的改进，所述面部表情识别模型还包括骨干网络模块和特征融合模块；
8、则所述将所述训练样本图像输入所述面部表情识别模型中，分别通过所述局部注意特征模块提取局部注意特征，通过所述全局特征模块提取全局上下关系特征，根据所述局部显著特征和所述全局上下关系特征，识别得到面部表情识别结果，具体为：
9、将所述训练样本图像输入所述面部表情识别模型中，通过所述骨干网络模块提取面部表情的浅层特征；
10、将所述浅层特征输入所述局部注意特征模块，以提取局部注意特征；
11、将所述浅层特征输入所述全局特征模块，以提取全局上下关系特征；
12、将所述局部显著特征和所述全局上下关系特征输入所述特征融合模块进行融合，并对融合后的特征进行表情识别，得到面部表情识别结果。
13、作为上述方案的改进，所述局部注意特征模块包括第一卷积层、空间通道注意块和第二卷积层；所述空间通道注意块用于采用注意力机制识别图像的显著局部注意特征；
14、则所述将所述浅层特征输入所述局部注意特征模块，以提取局部注意特征，包括：
15、将所述浅层特征根据空间轴划分为第一预设数量的局部特征图；
16、将所述第一预设数量的局部特征图分别依次经过所述第一卷积层、所述空间通道注意块和所述第二卷积层，得到第一预设数量的显著局部注意特征图；
17、将所述第一预设数量的显著局部注意特征图沿所述空间轴连接组合，得到面部表情的局部注意特征。
18、作为上述方案的改进，所述全局特征模块包括第三卷积层和多层transformer编码层；
19、则所述将所述浅层特征输入所述全局特征模块，以提取全局上下关系特征，包括：
20、将所述浅层特征输入所述第三卷积层进行维度变化，得到浅层特征序列；
21、将所述浅层特征序列的开头位置添加类别特征，并获取位置信息，得到处理后的浅层特征序列；
22、将所述处理后的浅层特征序列输入所述多层transformer编码器，学习所述浅层特征序列的上下文依赖关系，以得到面部表情的全局上下关系特征。
23、作为上述方案的改进，所述多层transformer编码器由第二预设数量的注意模块序列组成，每一所述注意模块序列包括多头自注意和多层感知器。
24、作为上述方案的改进，所述局部注意特征模块和所述全局特征模块的损失函数均为交叉熵损失函数；
25、则所述计算目标损失函数，包括：
26、分别计算所述局部注意特征模块的损失函数和所述全局特征模块的损失函数；
27、根据所述局部注意特征模块的损失函数和所述全局特征模块的损失函数，计算所述目标损失函数：
28、l＝αllocal+(1-α)lglobal；
29、其中，l为所述目标损失函数，llocal为所述局部注意特征模块的损失函数，lglobal为所述全局特征模块的损失函数，α为预设的超参数。
30、作为上述方案的改进，在所述获取训练数据集之后，所述方法还包括：
31、对所述若干个训练样本图像采用随机水平翻转、随机裁剪的方法进行数据增强处理，得到处理后的训练样本图像；
32、则所述将所述训练样本图像输入所述面部表情识别模型中，具体为：
33、将所述处理后的训练样本图像输入所述面部表情识别模型中。
34、本发明实施例还提供了一种面部表情识别方法，采用如上述任一项所述的面部表情识别模型训练方法所训练完成的面部表情识别模型进行面部表情识别，所述面部表情识别方法包括：
35、获取待识别的面部表情图像；
36、将所述待识别的面部表情图像输入所述面部表情识别模型中，分别通过所述局部注意特征模块提取局部注意特征，通过所述全局特征模块提取全局上下关系特征，并根据所述局部显著特征和所述全局上下关系特征，识别得到所述待识别的面部表情图像的面部表情识别结果。
37、本发明实施例还提供了一种面部表情识别模型训练装置，包括：
38、训练数据集获取模块，用于获取训练数据集；其中，所述训练数据集包含若干个训练样本图像，所述训练样本图像为面部表情图像；
39、识别模型构建模块，用于构建面部表情识别模型；其中，所述面部表情识别模型包括局部注意特征模块和全局特征模块；
40、识别结果获得模块，用于将所述训练样本图像输入所述面部表情识别模型中，分别通过所述局部注意特征模块提取局部注意特征，通过所述全局特征模块提取全局上下关系特征，根据所述局部显著特征和所述全局上下关系特征，识别得到面部表情识别结果；
41、识别模型训练模块，用于计算目标损失函数，并以所述目标损失函数最小化为目标，更新所述面部表情识别模型中各模块的参数，以得到训练完成的面部表情识别模型。
42、本发明实施例还提供了一种面部表情识别装置，采用如上述任一项所述的面部表情识别模型训练方法所训练完成的面部表情识别模型进行面部表情识别，所述面部表情识别装置包括：
43、图像获取模块，用于获取待识别的面部表情图像；
44、面部表情识别模块，用于将所述待识别的面部表情图像输入所述面部表情识别模型中，分别通过所述局部注意特征模块提取局部注意特征，通过所述全局特征模块提取全局上下关系特征，并根据所述局部显著特征和所述全局上下关系特征，识别得到所述待识别的面部表情图像的面部表情识别结果。
45、本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述面部表情识别模型训练方法，或如上述所述面部表情识别方法。
46、本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述面部表情识别模型训练方法，或如上述所述面部表情识别方法。
47、与现有技术相比，本发明公开的面部表情识别方法、模型训练方法、装置、设备和介质，针对自然场景下表情识别存在的头部姿态变化和遮挡问题，提出了基于局部注意特征与全局上下关系特征融合的面部表情识别手段，能够通过全局自注意机制建立全局上下文的远距离依赖关系，再利用局部注意特征模块关注局部显著信息来提升对自然场景下面部表情识别性能，为表情识别的实际应用奠定了基础，能够有效提高对面部表情识别的精准性。
1.一种面部表情识别模型训练方法，其特征在于，包括：
2.如权利要求1所述的面部表情识别模型训练方法，其特征在于，所述面部表情识别模型还包括骨干网络模块和特征融合模块；
3.如权利要求2所述的面部表情识别模型训练方法，其特征在于，所述局部注意特征模块包括第一卷积层、空间通道注意块和第二卷积层；所述空间通道注意块用于采用注意力机制识别图像的显著局部注意特征；
4.如权利要求2所述的面部表情识别模型训练方法，其特征在于，所述全局特征模块包括第三卷积层和多层transformer编码层；
5.如权利要求4所述的面部表情识别模型训练方法，其特征在于，所述多层transformer编码器由第二预设数量的注意模块序列组成，每一所述注意模块序列包括多头自注意和多层感知器。
6.如权利要求1至5任一项所述的面部表情识别模型训练方法，其特征在于，所述局部注意特征模块和所述全局特征模块的损失函数均为交叉熵损失函数；
7.如权利要求1所述的面部表情识别模型训练方法，其特征在于，在所述获取训练数据集之后，所述方法还包括：
8.一种面部表情识别方法，其特征在于，采用如权利要求1至7任一项所述的面部表情识别模型训练方法所训练完成的面部表情识别模型进行面部表情识别，所述面部表情识别方法包括：
9.一种面部表情识别模型训练装置，其特征在于，包括：
10.一种面部表情识别装置，其特征在于，采用如权利要求1至7任一项所述的面部表情识别模型训练方法所训练完成的面部表情识别模型进行面部表情识别，所述面部表情识别装置包括：
11.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述面部表情识别模型训练方法，或如权利要求8所述面部表情识别方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述面部表情识别模型训练方法，或如权利要求8所述面部表情识别方法。
