本发明涉及脑机接口，尤其涉及一种对运动想象脑电信号进行解码分类的方法和系统。
背景技术：
1、运动想象（motor imagery, mi）是脑机接口（brain computer interface, bci）技术中的一类典型范式，受试者只需要在脑海中想象身体运动而不需要真正执行。针对运动想象脑电信号进行解码可以帮助运动障碍患者建立非肌肉控制的信息交换通道，实现与外界环境的沟通，在神经康复治疗的应用中具有重要意义。在各种神经成像方法中，通过电极帽采集的脑电图（electroencephalogram, eeg）数据作为一种非侵入式方法，因其舒适、便捷、时间分辨率高等优点而被广泛使用到运动想象解码的研究当中。在后续应用中可以通过将解码得到的信息将个体的运动意图转换为输出指令，建立运动意念与接口设备之间的有机信息联系。
2、随着人工智能的发展，深度学习被广泛应用至脑电信号的运动想象解码任务当中，例如可以利用深度学习中的分类模型对目标被试的原始运动想象脑电数据进行解码分类，以预测运动想象脑电数据对应的任务类型。现有技术中，通常使用基于卷积神经网络的分类模型，但由于卷积神经网络的性能受到其处理长期上下文依赖关系能力的限制，在处理脑电信号这种序列数据时分类精度较低，因此亟需一种有效地对运动想象脑电信号进行解码分类的方法。
技术实现思路
1、本发明提供了一种对运动想象脑电信号进行解码分类的方法和系统，用以对运动想象脑电信号进行解码分类。所述技术方案如下：
2、一方面，提供了一种对运动想象脑电信号进行解码分类的方法，所述方法包括：
3、s1、获取并预处理运动想象脑电信号，得到以二维矩阵形式表示的脑电图数据，并将所述脑电图数据划分为训练集和测试集；
4、s2、使用所述训练集中的脑电图数据训练样本，训练解码分类模型，所述解码分类模型基于时空特征嵌入和两次应用局部窗口注意力机制；
5、s3、使用训练完成的解码分类模型，对待进行解码分类的运动想象脑电信号进行解码分类。
6、可选地，所述s1，具体包括：
7、s11、获取运动想象脑电信号，采用陷波滤波器去除所述运动想象脑电信号的工频噪声，采用带通滤波器对所述运动想象脑电信号进行滤波，截取中间固定时间长度的受试者实际进行运动想象的脑电信号进行后续的训练和分类，得到若干个以二维矩阵形式表示的原始脑电图数据，所述二维矩阵的行表示空间维度的电极通道，所述二维矩阵的列表示时间维度的采样点，将所述脑电图数据划分为训练集和测试集，所述训练集里的每个训练样本属于不同运动想象类别的分类标签；
8、s12、将所述训练集里的原始脑电图数据训练样本的分布标准化至某个特定的分布；
9、s13、使用分割重建策略对标准化后的训练样本进行数据增强，包括：
10、在所述训练集中随机挑选各个分类标签的预设个数的待合成样本，每个待合成样本按照时间顺序平均分成预设个数份，所有待合成样本按序挑选一段，最后合并在一起构成新样本，与原有训练样本一同进行训练。
11、可选地，所述解码分类模型由脑电图数据输入模块、时空特征嵌入模块、第一局部窗口注意力模块、特征融合模块、第二局部窗口注意力模块、分类器输出模块组成；
12、所述脑电图数据输入模块，用于输入所述脑电图数据训练样本；
13、所述时空特征嵌入模块，用于通过一系列的卷积核对输入的所述脑电图数据训练样本进行卷积运算，每个卷积核都可以学习到一种特定的特征模式，得到第一低维度特征矩阵，所述卷积核是浅层卷积，初步提取浅层时空特征表示，后续再利用两次局部窗口注意力机制进行深层次的学习；
14、所述第一局部窗口注意力模块，用于第一次基于局部窗口注意力机制对所述第一低维度特征矩阵的局部信息进行重新分配，给不同的信息赋予不同的权重，使模型重点关注与运动想象有关的信息，同时帮助模型更好地捕捉和利用长距离的信息，得到第二低维度特征矩阵；
15、所述特征融合模块，用于将所述第二低维度特征矩阵的特征进行融合，得到第三低维度特征矩阵；
16、所述第二局部窗口注意力模块，用于第二次基于局部窗口注意力机制对所述第三低维度特征矩阵的局部信息再次进行重新分配，再次给不同的信息赋予不同的权重，使模型进一步重点关注与运动想象有关的信息，同时进一步帮助模型更好地捕捉和利用长距离的信息，得到第四低维度特征矩阵；
17、所述分类器输出模块，用于将所述第四低维度特征矩阵进行进一步的降维，并输出得到不同运动想象类别的预测概率。
18、可选地，所述时空特征嵌入模块，对所述脑电图数据训练样本的时间维度和空间维度分别进行浅层卷积，包括顺次连接的二维卷积层、批标准化层、二维深度卷积层、批标准化层、平均池化层和位置编码层；
19、所述二维卷积层，被用作时间滤波器以产生包含不同频带特征的输出，对于形状为1×22×1000的脑电图数据训练样本，采用输出通道为16，卷积核大小为1×63的二维卷积层，并通过添加填充使得时间维度的形状保持不变，得到特征矩阵的形状为16×22×1000，此处卷积核的大小被设定为采样率的1/4；
20、然后，采用输出通道为32，卷积核大小为22×1的二维深度卷积层，对每个特征通道单独进行卷积，将22个电极通道融合为1个通道，促进跨电极的空间特征表达，得到特征矩阵的形状为32×1×1000，此处使用深度卷积针对每一个时间滤波器学习一个空间滤波器，从而有效提取特定频带的空间特征；
21、在上述两个卷积层之后均添加批标准化处理加速模型收敛，接下来，在时间维度使用卷积核大小为1×125，步长为1×25的平均池化层用于特征降维，得到特征矩阵的形状为32×36，其中32代表特征通道数，36代表时间序列长度，最后，在特征中添加参数可学习的绝对位置编码，使得模型能够有效利用来自标记的序列位置信息。
22、可选地，所述第一局部窗口注意力模块，将所述形状为32×36的特征矩阵按照时间序列长度划分为6个不重叠的宽度为6的窗口，得到6个大小为32×6的特征矩阵，在每个窗口内部应用局部窗口注意力机制，将输入的特征矩阵映射为查询向量，键向量和值向量，接着对查询向量和键向量的转置进行点乘操作，并除以窗口宽度的开方，然后利用函数生成注意力分数，再利用生成的注意力分数对值向量进行重新加权，计算方式如下：
23、
24、使用多头注意力从不同的子空间提取多维度的特征，提升模型的拟合能力，通过并行计算次查询向量、键向量和值向量的特征映射，得到个由注意力分数加权后的形状为32×6的特征矩阵，将这些特征矩阵合并之后的形状为×32×6，之后再通过特征映射得到形状为32×6的输出，计算方式如下：
25、
26、
27、其中，为所使用注意力头的数量，均为特征映射层的参数矩阵；
28、所述第一局部窗口注意力模块一次窗口划分完整的计算过程：
29、首先将输入的特征矩阵进行层标准化处理，之后计算所述多头注意力得到加权之后的特征矩阵，再与输入特征矩阵残差连接相加，得到中间特征矩阵，之后再通过层标准化处理和多层感知机，并与中间特征矩阵残差连接相加，得到输出特征矩阵，用公式表示如下：
30、
31、
32、其中代表层标准化，代表多层感知机；
33、将6个窗口内计算所得的形状为32×6的特征矩阵重新合并，得到与划分窗口之前的形状一致的形状为32×36的特征矩阵；
34、接下来，所述第一局部窗口注意力模块，将窗口向后移位半个窗口宽度，并将首尾两个窗口合并在一起，同样得到6个大小为32×6的窗口，再次在新的窗口内部应用局部窗口注意力机制，实现跨窗口的信息交互以补充局部信息。
35、可选地，所述特征融合模块，通过特征融合使得模型对于脑电图数据能够获得逐渐增大的感受野，解决固定窗口大小带来的限制，包括：
36、将第一次应用局部窗口注意力机制得到的形状为32×36的特征矩阵视为一个长度为36的特征序列，对序列中每组相邻的特征32×1进行拼接，得到64×18的特征矩阵，之后再通过层标准化与特征映射层处理，所述层标准化提升模型训练速度，所述特征映射层通过学习权重参数并进行线性与非线性变换，捕捉更高级别的抽象特征和增强网络的表达能力。
37、可选地，所述第二局部窗口注意力模块，将所述形状为64×18的特征矩阵按照时间序列长度划分为3个不重叠的宽度为6的窗口，得到3个大小为64×6的特征矩阵，在每个窗口内部再次应用局部窗口注意力机制，对所述形状为64×18的特征矩阵的局部信息再次进行重新分配，得到新的形状为64×18的特征矩阵。
38、接下来，所述第二局部窗口注意力模块，将窗口向后移位半个窗口宽度，并将首尾两个窗口合并在一起，同样得到3个大小为64×6的窗口，再次在新的窗口内部应用局部窗口注意力机制，实现跨窗口的信息交互以补充局部信息。
39、另一方面，提供了一种对运动想象脑电信号进行解码分类的系统，所述系统包括：
40、获取预处理模块，用于获取并预处理运动想象脑电信号，得到以二维矩阵形式表示的脑电图数据，并将所述脑电图数据划分为训练集和测试集；
41、训练模块，用于使用所述训练集中的脑电图数据训练样本，训练解码分类模型，所述解码分类模型基于时空特征嵌入和两次应用局部窗口注意力机制；
42、解码分类模块，用于使用训练完成的解码分类模型，对待进行解码分类的运动想象脑电信号进行解码分类。
43、另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述对运动想象脑电信号进行解码分类的方法。
44、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述对运动想象脑电信号进行解码分类的方法。
45、上述技术方案，与现有技术相比至少具有如下有益效果：
46、本发明通过解码分类模型的时空特征嵌入模块将脑电图数据转化为方便后续处理的低维度特征矩阵并初步提取浅层时空特征，局部窗口注意力模块特别针对脑电信号中的局部信息进行了处理，使模型重点关注与运动想象有关的信息，同时帮助模型更好地捕捉和利用长距离的信息，特征融合模块适应了脑电图数据的非平稳性和随机性，分类输出模块得到不同运动想象类别的预测概率，能够快速准确的预测运动想象脑电信号的类别，有助于提高运动想象解码的准确度，进而拓展运动想象解码在各个应用领域中的应用前景，例如可以更准确地获知运动障碍患者或脑卒中患者的意图，从而为运动障碍患者的交互和脑卒中患者的康复治疗提供便利。
1.一种对运动想象脑电信号进行解码分类的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述s1，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述解码分类模型由脑电图数据输入模块、时空特征嵌入模块、第一局部窗口注意力模块、特征融合模块、第二局部窗口注意力模块、分类器输出模块组成；
4.根据权利要求3所述的方法，其特征在于，所述时空特征嵌入模块，对所述脑电图数据训练样本的时间维度和空间维度分别进行浅层卷积，包括顺次连接的二维卷积层、批标准化层、二维深度卷积层、批标准化层、平均池化层和位置编码层；
5.根据权利要求4所述的方法，其特征在于，所述第一局部窗口注意力模块，将所述形状为32×36的特征矩阵按照时间序列长度划分为6个不重叠的宽度为6的窗口，得到6个大小为32×6的特征矩阵，在每个窗口内部应用局部窗口注意力机制，将输入的特征矩阵映射为查询向量，键向量和值向量，接着对查询向量和键向量的转置进行点乘操作，并除以窗口宽度的开方，然后利用函数生成注意力分数，再利用生成的注意力分数对值向量进行重新加权，计算方式如下：
6.根据权利要求5所述的方法，其特征在于，所述特征融合模块，通过特征融合使得模型对于脑电图数据能够获得逐渐增大的感受野，解决固定窗口大小带来的限制，包括：
7.根据权利要求6所述的方法，其特征在于，所述第二局部窗口注意力模块，将所述形状为64×18的特征矩阵按照时间序列长度划分为3个不重叠的宽度为6的窗口，得到3个大小为64×6的特征矩阵，在每个窗口内部再次应用局部窗口注意力机制，对所述形状为64×18的特征矩阵的局部信息再次进行重新分配，得到新的形状为64×18的特征矩阵；
8.一种对运动想象脑电信号进行解码分类的系统，其特征在于，所述系统包括：
9.一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有指令，其特征在于，所述指令由所述处理器加载并执行以实现如权利要求1-7任一项所述对运动想象脑电信号进行解码分类的方法。
10.一种计算机可读存储介质，所述存储介质中存储有指令，其特征在于，所述指令由处理器加载并执行以实现如权利要求1-7任一项所述对运动想象脑电信号进行解码分类的方法。
